Ling 2.5 Lightning Attention+MLA ハイブリッド線形アーキテクチャ改造実践
AI 要約
超長コンテキスト下での計算効率を高めるため、Ling 2.5アーキテクチャはLing 2.0のGQAを1:7のLightning AttentionとMLAのハイブリッド線形注意に改造した。これはLightning Attentionで長系列のスループットを向上させ、MLAでKV Cacheを極限まで圧縮することを狙う。改造後の性能劣化を防ぐため、チームは重み変換、QK Norm融合、Partial RoPE改造など多段階の追加トレーニングを含む精密な平滑移行トレーニング戦略を設計した。Scaling Law実験で1:7が最適な混合比率と確定し、最終的に1兆パラメータモデルでより低い計算コストと高い長文推論効率を実現した。
要点
- 超長コンテキスト下での計算効率を高めるため、Ling 2.
- 5アーキテクチャはLing 2.
- 0のGQAを1:7のLightning AttentionとMLAのハイブリッド線形注意に改造した。
- これはLightning Attentionで長系列のスループットを向上させ、MLAでKV Cacheを極限まで圧縮することを狙う。
- 改造後の性能劣化を防ぐため、チームは重み変換、QK Norm融合、Partial RoPE改造など多段階の追加トレーニングを含む精密な平滑移行トレーニング戦略を設計した。
概要
- 公開日時
- 更新日時
- カテゴリ
- その他
- AI スコア
- 86
おすすめの理由
为大模型长上下文优化提供可落地的工程实践参考。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:Ling 2.5 Lightning Attention+MLA ハイブリッド線形アーキテクチャ改造実践。2026年2月26日。https://new.nat6.net/ja/news/cmoecv1p6003usl1973hu5t5o/