Un modelo de 770B en local: qué estás dimensionando realmente

Si quieres que ciertos documentos permanezcan dentro de tu empresa, ejecutar un modelo en local puede tener sentido. La pregunta siguiente es qué tarea debe resolver y con qué recursos. Elegir primero el modelo más grande puede llevarte a dimensionar un sistema que no necesitas.

Tencent anunció Hy4 preview el 28 de agosto de 2026 con 770.000 millones de parámetros totales, 49.000 millones activos y un contexto superior a un millón de tokens. Son especificaciones del fabricante. No demuestran qué velocidad obtendrás ni qué infraestructura requiere tu aplicación.

Los pesos son solo una parte de la memoria

Como cuenta teórica, almacenar 770.000 millones de valores a un byte por valor equivale a 770.000 millones de bytes: 770 GB decimales. A cuatro bits por valor, serían 385 GB decimales. Son cálculos de representación de pesos; no la memoria total del servicio ni tamaños verificados de una distribución concreta de Hy4.

La cuantización real puede añadir escalas, metadatos y componentes que mantengan otra precisión. También hay que comprobar si el motor admite esa versión del modelo. Que solo una parte de los parámetros esté activa en un paso de cálculo no significa que baste con almacenar únicamente esa parte de los pesos.

Durante la inferencia se necesitan recursos adicionales. En arquitecturas que usan caché KV, esta conserva información para generar los siguientes tokens y puede ocupar mucha memoria con contextos largos. Hugging Face explica opciones de caché, traslado a CPU y cuantización, con compromisos de rendimiento. Esa documentación no es una receta de despliegue para Hy4.

La longitud del contexto, las conversaciones simultáneas, el motor y la distribución entre dispositivos cambian los requisitos. No convertiría los 770 GB en una lista de tarjetas ni en un presupuesto. Primero hace falta una configuración compatible y mediciones de memoria máxima y tiempos de respuesta bajo la carga prevista.

Una tarea pequeña puede justificar lo local

En un caso hipotético, un despacho quiere extraer la fecha de vencimiento y una referencia de documentos internos. Prepararía ejemplos representativos, incluidos documentos sin esos campos y versiones contradictorias. La respuesta esperada debe indicar el dato y dónde aparece, o reconocer que falta.

Probaría un modelo menor y otro candidato con la misma colección. Mediría exactitud, omisiones, respuestas inventadas, segundos hasta obtener el resultado y minutos de revisión. Un modelo pequeño puede ser suficiente o quedarse corto; la prueba decide. Para preguntas sobre documentación, también compararía una búsqueda convencional antes de añadir generación.

El despliegue local permite definir dónde se ejecuta el servicio, pero todavía necesita permisos, actualizaciones, registros y copias de seguridad. Revisaría si alguna parte de la aplicación envía datos fuera, además del modelo: monitorización, herramientas conectadas o soporte. «Local» debe describir el recorrido de los datos.

Elegir la operación que puedas sostener

Compararía local, servicio alojado e híbrido según calidad, datos admitidos, capacidad y mantenimiento. En un servicio externo revisaría condiciones de tratamiento, conservación y acceso; en uno local, quién lo mantiene y cómo se recupera de un fallo. No hay una garantía general de privacidad por elegir una etiqueta.

Para una tarea acotada no descartaría lo local por principio, ni asumiría que 770B es lo adecuado. Pediría una prueba con criterios de aceptación antes de comprometer infraestructura. El resultado que necesitas es más concreto que el tamaño del modelo.