オピニオン

Ant Group の周俊氏:混合線形改造で兆パラメータモデルの Token 密度をどう高めるか

原題:演讲实录 | 从 Token 数量到 Token 密度:万亿参数规模下的高效智能体智能

AI 要約

Ant Group 副総裁の周俊氏は、兆パラメータモデルは15分稼働するごとに計算コストがテスラ1台分に相当するとし、効率はエージェント時代に最初に解決すべき問題だと指摘した。チームは7份の Lightning Attention と1份の MLA を組み合わせた混合線形改造により、256K 長コンテキストのコストを指数関数的から線形へと低減し、Kpop アルゴリズムと実環境トレーニングを組み合わせることで Token 出力を約4倍削減、千億パラメータモデルが実際の Agent タスクで一部のより大規模なモデルを上回った。

要点

  • Ant Group 副総裁の周俊氏は、兆パラメータモデルは15分稼働するごとに計算コストがテスラ1台分に相当するとし、効率はエージェント時代に最初に解決すべき問題だと指摘した。
  • チームは7份の Lightning Attention と1份の MLA を組み合わせた混合線形改造により、256K 長コンテキストのコストを指数関数的から線形へと低減し、Kpop アルゴリズムと実…
  • 千億パラメータモデルが実際の Agent タスクで一部のより大規模なモデルを上回った

概要

公開日時
更新日時
出典
公众号:蚂蚁百灵(Ling)
カテゴリ
オピニオン
AI スコア
60
原文を読む 情報源で全文を読む
おすすめの理由

7:1 的混合注意力配比、将真实错误纳入训练以及区分工具调用与自然语言的奖励函数,为同时追求长上下文效率和智能体可靠性的工作提供了可参照的技术路线。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:Ant Group の周俊氏:混合線形改造で兆パラメータモデルの Token 密度をどう高めるか。2026年7月8日。https://new.nat6.net/ja/news/cmsdu2qga010drofz1h40txvh/

すべて見る →