Ant Group周俊氏のAICon講演:Token数からToken密度へ、兆パラメータモデルは効率優先
原題:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能
AI 要約
Ant Group副総裁の周俊氏はAICon講演で、兆パラメータモデルは15分稼働するごとの計算コストがテスラ1台分に相当し、効率はエージェント時代に最も解決すべき問題だと指摘した。チームは「より多くのToken」から「より高いToken密度」への戦略転換を提唱し、Lightning Attention 7份とMLA 1份のハイブリッド線形アテンションアーキテクチャを採用して、256K長コンテキストのコストを指数級から線形級に引き下げ、計算資源をより思考に振り向けた。Kpopアルゴリズムでツール呼び出しと自然言語Tokenを区別し、思考連鎖の剪枝や自己蒸留などを組み合わせることで、Token出力を約4倍削減しながら能力を維持した。LongBenchやBFCLなどのベンチマークで顕著に向上し、千億パラメータモデルはAgentタスクで一部のより大きなモデルを上回った。小モデルflashのスループットは2.4倍に達し、5ターン対話のコストは10倍以上低下した。
要点
- Ant Group副総裁の周俊氏はAICon講演で、兆パラメータモデルは15分稼働するごとの計算コストがテスラ1台分に相当し、効率はエージェント時代に最も解決すべき問題だと指摘した。
- チームは「より多くのToken」から「より高いToken密度」への戦略転換を提唱し、Lightning Attention 7份とMLA 1份のハイブリッド線形アテンションアーキテクチャを採用して、…
- Kpopアルゴリズムでツール呼び出しと自然言語Tokenを区別し、思考連鎖の剪枝や自己蒸留などを組み合わせることで、Token出力を約4倍削減しながら能力を維持した。
- LongBenchやBFCLなどのベンチマークで顕著に向上し、千億パラメータモデルはAgentタスクで一部のより大きなモデルを上回った。
- 小モデルflashのスループットは2.
概要
- 公開日時
- 更新日時
- カテゴリ
- オピニオン
- AI スコア
- 64
蚂蚁百灵副总裁周俊这次分享,把大模型效率问题从零散优化推到了架构、训练、智能体协同设计的范式层面,7+1 混合注意力方案和 Kpop 算法对做模型的人是实质参考。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:Ant Group周俊氏のAICon講演:Token数からToken密度へ、兆パラメータモデルは効率優先。2026年7月8日。https://new.nat6.net/ja/news/cmrbdsefa02yjihl17gg7mhx3/