Un modèle de 770B en local : que dimensionnez-vous vraiment ?

Si vous voulez que certains documents restent dans votre entreprise, exécuter un modèle en local peut avoir du sens. La question suivante est celle de la tâche à résoudre et des ressources disponibles. Choisir d’abord le plus grand modèle peut vous conduire à dimensionner un système dont vous n’avez pas besoin.

Tencent a annoncé Hy4 preview le 28 août 2026 avec 770 milliards de paramètres au total, 49 milliards actifs et un contexte supérieur à un million de tokens. Ce sont les spécifications du fabricant. Elles ne démontrent ni la vitesse que vous obtiendrez ni l’infrastructure nécessaire à votre application.

Les poids ne constituent qu’une partie de la mémoire

Par calcul théorique, stocker 770 milliards de valeurs à un octet par valeur représente 770 milliards d’octets : 770 GB décimaux. À quatre bits par valeur, cela donnerait 385 GB décimaux. Ces calculs concernent la représentation des poids ; ce ne sont ni la mémoire totale du service ni les tailles vérifiées d’une distribution précise de Hy4.

La quantification réelle peut ajouter des facteurs d’échelle, des métadonnées et des composants conservant une autre précision. Il faut aussi vérifier que le moteur prend en charge cette version du modèle. Le fait qu’une partie seulement des paramètres soit active lors d’une étape de calcul ne signifie pas qu’il suffise de stocker cette partie des poids.

L’inférence nécessite des ressources supplémentaires. Dans les architectures utilisant un cache KV, celui-ci conserve des informations pour générer les tokens suivants et peut occuper beaucoup de mémoire avec de longs contextes. Hugging Face explique les options de cache, le transfert vers le CPU et la quantification, avec des compromis de performance. Cette documentation n’est pas une recette de déploiement pour Hy4.

La longueur du contexte, les conversations simultanées, le moteur et la répartition entre appareils modifient les besoins. Je ne transformerais pas les 770 GB en liste de cartes ou en budget. Il faut d’abord une configuration compatible et des mesures de mémoire maximale et de temps de réponse sous la charge prévue.

Une petite tâche peut justifier le local

Dans un cas hypothétique, un cabinet veut extraire une échéance et une référence de documents internes. Je préparerais des exemples représentatifs, y compris des documents sans ces champs et des versions contradictoires. La réponse attendue doit indiquer la donnée et son emplacement, ou reconnaître qu’elle manque.

Je testerais un modèle plus petit et un autre candidat sur la même collection. Je mesurerais l’exactitude, les omissions, les réponses inventées, les secondes nécessaires pour obtenir le résultat et les minutes de vérification. Un petit modèle peut suffire ou ne pas convenir ; l’essai tranche. Pour des questions sur la documentation, je comparerais aussi une recherche classique avant d’ajouter de la génération.

Le déploiement local permet de définir où le service s’exécute, mais nécessite toujours des autorisations, des mises à jour, des journaux et des sauvegardes. Je vérifierais si une partie de l’application, au-delà du modèle, envoie des données à l’extérieur : supervision, outils connectés ou assistance. « Local » doit décrire le parcours des données.

Choisir un fonctionnement que vous pouvez maintenir

Je comparerais local, service hébergé et hybride selon la qualité, les données admises, la capacité et l’entretien. Pour un service externe, je vérifierais les conditions de traitement, de conservation et d’accès ; pour un service local, qui le maintient et comment il reprend après une panne. Une étiquette ne fournit pas de garantie générale de confidentialité.

Pour une tâche ciblée, je n’écarterais pas le local par principe et ne supposerais pas non plus que 770B convient. Je demanderais un essai avec des critères d’acceptation avant d’engager l’infrastructure. Le résultat dont vous avez besoin est plus concret que la taille du modèle.