Ant Group : comment la refonte en attention linéaire hybride améliore la densité de tokens des modèles à un billion de paramètres
Titre original:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能
Résumé IA
Zhou Jun, vice-président d'Ant Group, indique que le coût de calcul d'un modèle à un billion de paramètres toutes les 15 minutes équivaut environ à une Tesla, et que l'efficacité est le premier problème à résoudre à l'ère des agents. L'équipe a ramené le coût du contexte long de 256K d'une croissance exponentielle à une croissance linéaire grâce à une refonte en attention linéaire hybride combinant 7 couches Lightning Attention pour 1 couche MLA ; avec l'algorithme Kpop et un entraînement en environnement réel, la sortie de tokens est réduite d'environ 4 fois, et un modèle à 100 milliards de paramètres surpasse certains modèles plus grands sur de vraies tâches d'agent.
Points clés
- Zhou Jun,vice-président d'Ant Group,indique que le coût de calcul d'un modèle à un billion de…
- L'équipe a ramené le coût du contexte long de 256K d'une croissance exponentielle à une croissance…
- avec l'algorithme Kpop et un entraînement en environnement réel,la sortie de tokens est réduite…
En bref
- Publié
- Mis à jour
- Source
- 公众号:蚂蚁百灵(Ling)
- Catégorie
- Opinion
- Score IA
- 60
7:1 的混合注意力配比、将真实错误纳入训练以及区分工具调用与自然语言的奖励函数,为同时追求长上下文效率和智能体可靠性的工作提供了可参照的技术路线。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Ant Group : comment la refonte en attention linéaire hybride améliore la densité de tokens des modèles à un billion de paramètres. 8. juillet 2026. https://new.nat6.net/fr/news/cmsdu2qga010drofz1h40txvh/