Ant Group の周俊氏:混合線形改造で兆パラメータモデルの Token 密度をどう高めるか
原題:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能
AI 要約
Ant Group 副総裁の周俊氏は、兆パラメータモデルは15分稼働するごとに計算コストがテスラ1台分に相当するとし、効率はエージェント時代に最初に解決すべき問題だと指摘した。チームは7份の Lightning Attention と1份の MLA を組み合わせた混合線形改造により、256K 長コンテキストのコストを指数関数的から線形へと低減し、Kpop アルゴリズムと実環境トレーニングを組み合わせることで Token 出力を約4倍削減、千億パラメータモデルが実際の Agent タスクで一部のより大規模なモデルを上回った。
要点
- Ant Group 副総裁の周俊氏は、兆パラメータモデルは15分稼働するごとに計算コストがテスラ1台分に相当するとし、効率はエージェント時代に最初に解決すべき問題だと指摘した。
- チームは7份の Lightning Attention と1份の MLA を組み合わせた混合線形改造により、256K 長コンテキストのコストを指数関数的から線形へと低減し、Kpop アルゴリズムと実…
- 千億パラメータモデルが実際の Agent タスクで一部のより大規模なモデルを上回った
概要
- 公開日時
- 更新日時
- カテゴリ
- オピニオン
- AI スコア
- 60
おすすめの理由
7:1 的混合注意力配比、将真实错误纳入训练以及区分工具调用与自然语言的奖励函数,为同时追求长上下文效率和智能体可靠性的工作提供了可参照的技术路线。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:Ant Group の周俊氏:混合線形改造で兆パラメータモデルの Token 密度をどう高めるか。2026年7月8日。https://new.nat6.net/ja/news/cmsdu2qga010drofz1h40txvh/