その他

Ling 2.5 Lightning Attention+MLA ハイブリッド線形アーキテクチャ改造実践

AI 要約

超長コンテキスト下での計算効率を高めるため、Ling 2.5アーキテクチャはLing 2.0のGQAを1:7のLightning AttentionとMLAのハイブリッド線形注意に改造した。これはLightning Attentionで長系列のスループットを向上させ、MLAでKV Cacheを極限まで圧縮することを狙う。改造後の性能劣化を防ぐため、チームは重み変換、QK Norm融合、Partial RoPE改造など多段階の追加トレーニングを含む精密な平滑移行トレーニング戦略を設計した。Scaling Law実験で1:7が最適な混合比率と確定し、最終的に1兆パラメータモデルでより低い計算コストと高い長文推論効率を実現した。

要点

  • 超長コンテキスト下での計算効率を高めるため、Ling 2.
  • 5アーキテクチャはLing 2.
  • 0のGQAを1:7のLightning AttentionとMLAのハイブリッド線形注意に改造した。
  • これはLightning Attentionで長系列のスループットを向上させ、MLAでKV Cacheを極限まで圧縮することを狙う。
  • 改造後の性能劣化を防ぐため、チームは重み変換、QK Norm融合、Partial RoPE改造など多段階の追加トレーニングを含む精密な平滑移行トレーニング戦略を設計した。

概要

公開日時
更新日時
出典
蚂蚁百灵:Developer Blog(网页)
カテゴリ
その他
AI スコア
86
原文を読む 情報源で全文を読む
おすすめの理由

为大模型长上下文优化提供可落地的工程实践参考。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:Ling 2.5 Lightning Attention+MLA ハイブリッド線形アーキテクチャ改造実践。2026年2月26日。https://new.nat6.net/ja/news/cmoecv1p6003usl1973hu5t5o/

すべて見る →