Opinión

Zhou Jun de Ant Group en AICon: de la cantidad de tokens a la densidad de tokens, los modelos de billón de parámetros priorizan la eficiencia

Título original:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能

Resumen de IA

El vicepresidente de Ant Group, Zhou Jun, señaló en AICon que el coste computacional de un modelo de billón de parámetros por cada 15 minutos de ejecución equivale aproximadamente al de un Tesla, y que la eficiencia es el problema más urgente de resolver en la era de los agentes. El equipo propone pasar de "más tokens" a "mayor densidad de tokens", con una arquitectura de atención lineal híbrida de 7 partes de Lightning Attention y 1 de MLA, que reduce el coste de contextos largos de 256K de exponencial a lineal y destina más cómputo al razonamiento. Mediante el algoritmo Kpop para distinguir llamadas a herramientas de tokens de lenguaje natural, junto con poda de cadenas de pensamiento y autodestilación, la salida de tokens se reduce unas 4 veces sin perder capacidad. Las mejoras en referencias como LongBench y BFCL son notables, y un modelo de cien mil millones de parámetros supera a algunos modelos mayores en tareas de agente; el modelo pequeño flash alcanza 2,4 veces el rendimiento y el coste de cinco rondas de conversación cae más de 10 veces.

Puntos clave

  • El vicepresidente de Ant Group,Zhou Jun,señaló en AICon que el coste computacional de un modelo de…
  • El equipo propone pasar de "más tokens" a "mayor densidad de tokens",con una arquitectura de…
  • Mediante el algoritmo Kpop para distinguir llamadas a herramientas de tokens de lenguaje…
  • Las mejoras en referencias como LongBench y BFCL son notables,y un modelo de cien mil millones de…
  • el modelo pequeño flash alcanza 2,4 veces el rendimiento y el coste de cinco rondas de…

Resumen rápido

Publicado
Actualizado
Fuente
公众号:蚂蚁百灵(Ling)
Categoría
Opinión
Puntuación IA
64
Leer el original Leer el artículo completo en la fuente original
Por qué importa

蚂蚁百灵副总裁周俊这次分享,把大模型效率问题从零散优化推到了架构、训练、智能体协同设计的范式层面,7+1 混合注意力方案和 Kpop 算法对做模型的人是实质参考。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Zhou Jun de Ant Group en AICon: de la cantidad de tokens a la densidad de tokens, los modelos de billón de parámetros priorizan la eficiencia. 8. julio 2026. https://new.nat6.net/es/news/cmrbdsefa02yjihl17gg7mhx3/

Ver todo →