Zhou Jun, de Ant Group: cómo mejorar la densidad de tokens de los modelos de billón de parámetros con una transformación lineal híbrida
Título original:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能
Resumen de IA
Zhou Jun, vicepresidente de Ant Group, señala que el coste de cómputo de un modelo de billón de parámetros por cada 15 minutos de funcionamiento equivale aproximadamente al de un Tesla, y que la eficiencia es el primer problema que debe resolverse en la era de los agentes. El equipo, mediante una transformación lineal híbrida que combina 7 partes de Lightning Attention con 1 parte de MLA, reduce el coste del contexto largo de 256K de exponencial a lineal; junto con el algoritmo Kpop y el entrenamiento en entornos reales, logra reducir la salida de tokens unas 4 veces, y un modelo de cien mil millones de parámetros supera a algunos modelos de mayor escala en tareas reales de Agent.
Puntos clave
- Zhou Jun,vicepresidente de Ant Group,señala que el coste de cómputo de un modelo de billón de…
- El equipo,mediante una transformación lineal híbrida que combina 7 partes de Lightning Attention…
- junto con el algoritmo Kpop y el entrenamiento en entornos reales,logra reducir la salida de…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- 公众号:蚂蚁百灵(Ling)
- Categoría
- Opinión
- Puntuación IA
- 60
7:1 的混合注意力配比、将真实错误纳入训练以及区分工具调用与自然语言的奖励函数,为同时追求长上下文效率和智能体可靠性的工作提供了可参照的技术路线。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Zhou Jun, de Ant Group: cómo mejorar la densidad de tokens de los modelos de billón de parámetros con una transformación lineal híbrida. 8. julio 2026. https://new.nat6.net/es/news/cmsdu2qga010drofz1h40txvh/