Ant Group : de la quantité à la densité de tokens, priorité à l'efficacité des modèles à mille milliards de paramètres
Titre original:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能
Résumé IA
Lors de la conférence AICon, Zhou Jun, vice-président d'Ant Group, a indiqué que le coût de calcul d'un modèle à mille milliards de paramètres pendant 15 minutes équivaut environ à une Tesla, et que l'efficacité est le problème le plus urgent à résoudre à l'ère des agents. L'équipe propose de passer de « plus de tokens » à une « densité de tokens plus élevée », avec une architecture d'attention linéaire hybride composée de 7 Lightning Attention et 1 MLA, faisant passer le coût du contexte long de 256K d'exponentiel à linéaire, davantage de calcul étant consacré au raisonnement. L'algorithme Kpop distingue les tokens d'appel d'outils des tokens de langage naturel ; combiné à l'élagage de chaîne de pensée et à l'auto-distillation, il réduit d'environ 4 fois les tokens de sortie sans baisse de capacité. Les gains sont significatifs sur LongBench, BFCL et autres benchmarks, un modèle à cent milliards de paramètres surpassant certains modèles plus grands dans les tâches d'agent ; le petit modèle flash atteint 2,4 fois le débit et le coût d'une conversation de cinq tours baisse de plus de 10 fois.
Points clés
- Lors de la conférence AICon,Zhou Jun,vice-président d'Ant Group,a indiqué que le coût de calcul…
- L'équipe propose de passer de « plus de tokens » à une « densité de tokens plus élevée »,avec une…
- L'algorithme Kpop distingue les tokens d'appel d'outils des tokens de langage naturel
- combiné à l'élagage de chaîne de pensée et à l'auto-distillation,il réduit d'environ 4 fois les…
- Les gains sont significatifs sur LongBench,BFCL et autres benchmarks,un modèle à cent milliards de…
En bref
- Publié
- Mis à jour
- Source
- 公众号:蚂蚁百灵(Ling)
- Catégorie
- Opinion
- Score IA
- 64
蚂蚁百灵副总裁周俊这次分享,把大模型效率问题从零散优化推到了架构、训练、智能体协同设计的范式层面,7+1 混合注意力方案和 Kpop 算法对做模型的人是实质参考。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Ant Group : de la quantité à la densité de tokens, priorité à l'efficacité des modèles à mille milliards de paramètres. 8. juillet 2026. https://new.nat6.net/fr/news/cmrbdsefa02yjihl17gg7mhx3/