オピニオン

Ant Group周俊氏のAICon講演:Token数からToken密度へ、兆パラメータモデルは効率優先

原題:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能

AI 要約

Ant Group副総裁の周俊氏はAICon講演で、兆パラメータモデルは15分稼働するごとの計算コストがテスラ1台分に相当し、効率はエージェント時代に最も解決すべき問題だと指摘した。チームは「より多くのToken」から「より高いToken密度」への戦略転換を提唱し、Lightning Attention 7份とMLA 1份のハイブリッド線形アテンションアーキテクチャを採用して、256K長コンテキストのコストを指数級から線形級に引き下げ、計算資源をより思考に振り向けた。Kpopアルゴリズムでツール呼び出しと自然言語Tokenを区別し、思考連鎖の剪枝や自己蒸留などを組み合わせることで、Token出力を約4倍削減しながら能力を維持した。LongBenchやBFCLなどのベンチマークで顕著に向上し、千億パラメータモデルはAgentタスクで一部のより大きなモデルを上回った。小モデルflashのスループットは2.4倍に達し、5ターン対話のコストは10倍以上低下した。

要点

  • Ant Group副総裁の周俊氏はAICon講演で、兆パラメータモデルは15分稼働するごとの計算コストがテスラ1台分に相当し、効率はエージェント時代に最も解決すべき問題だと指摘した。
  • チームは「より多くのToken」から「より高いToken密度」への戦略転換を提唱し、Lightning Attention 7份とMLA 1份のハイブリッド線形アテンションアーキテクチャを採用して、…
  • Kpopアルゴリズムでツール呼び出しと自然言語Tokenを区別し、思考連鎖の剪枝や自己蒸留などを組み合わせることで、Token出力を約4倍削減しながら能力を維持した。
  • LongBenchやBFCLなどのベンチマークで顕著に向上し、千億パラメータモデルはAgentタスクで一部のより大きなモデルを上回った。
  • 小モデルflashのスループットは2.

概要

公開日時
更新日時
出典
公众号:蚂蚁百灵(Ling)
カテゴリ
オピニオン
AI スコア
64
原文を読む 情報源で全文を読む
おすすめの理由

蚂蚁百灵副总裁周俊这次分享,把大模型效率问题从零散优化推到了架构、训练、智能体协同设计的范式层面,7+1 混合注意力方案和 Kpop 算法对做模型的人是实质参考。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:Ant Group周俊氏のAICon講演:Token数からToken密度へ、兆パラメータモデルは効率優先。2026年7月8日。https://new.nat6.net/ja/news/cmrbdsefa02yjihl17gg7mhx3/

すべて見る →