Opinion

Ant Group : comment la refonte en attention linéaire hybride améliore la densité de tokens des modèles à un billion de paramètres

Titre original:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能

Résumé IA

Zhou Jun, vice-président d'Ant Group, indique que le coût de calcul d'un modèle à un billion de paramètres toutes les 15 minutes équivaut environ à une Tesla, et que l'efficacité est le premier problème à résoudre à l'ère des agents. L'équipe a ramené le coût du contexte long de 256K d'une croissance exponentielle à une croissance linéaire grâce à une refonte en attention linéaire hybride combinant 7 couches Lightning Attention pour 1 couche MLA ; avec l'algorithme Kpop et un entraînement en environnement réel, la sortie de tokens est réduite d'environ 4 fois, et un modèle à 100 milliards de paramètres surpasse certains modèles plus grands sur de vraies tâches d'agent.

Points clés

  • Zhou Jun,vice-président d'Ant Group,indique que le coût de calcul d'un modèle à un billion de…
  • L'équipe a ramené le coût du contexte long de 256K d'une croissance exponentielle à une croissance…
  • avec l'algorithme Kpop et un entraînement en environnement réel,la sortie de tokens est réduite…

En bref

Publié
Mis à jour
Source
公众号:蚂蚁百灵(Ling)
Catégorie
Opinion
Score IA
60
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

7:1 的混合注意力配比、将真实错误纳入训练以及区分工具调用与自然语言的奖励函数,为同时追求长上下文效率和智能体可靠性的工作提供了可参照的技术路线。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Ant Group : comment la refonte en attention linéaire hybride améliore la densité de tokens des modèles à un billion de paramètres. 8. juillet 2026. https://new.nat6.net/fr/news/cmsdu2qga010drofz1h40txvh/

Tout voir →