Другое

Практика перестройки Ling 2.5 на гибридную линейную архитектуру Lightning Attention + MLA

ИИ-резюме

Для повышения вычислительной эффективности при сверхдлинном контексте архитектура Ling 2.5 заменяет GQA из Ling 2.0 на гибридное линейное внимание в пропорции 1:7 из Lightning Attention и MLA. Это должно повысить пропускную способность на длинных последовательностях за счёт Lightning Attention и предельно сжать KV Cache с помощью MLA. Чтобы сохранить качество, команда разработала многоэтапную стратегию плавного переноса обучения, включая преобразование весов, слияние QK Norm и частичную перестройку RoPE. Эксперименты по Scaling Law определили 1:7 как оптимальную пропорцию, что в итоге позволило модели с триллионом параметров снизить вычислительные затраты и повысить эффективность рассуждений на длинных текстах.

Ключевые моменты

  • Для повышения вычислительной эффективности при сверхдлинном контексте архитектура Ling 2.
  • 5 заменяет GQA из Ling 2.
  • 0 на гибридное линейное внимание в пропорции 1:7 из Lightning Attention и MLA.
  • Это должно повысить пропускную способность на длинных последовательностях за счёт Lightning…
  • Чтобы сохранить качество,команда разработала многоэтапную стратегию плавного переноса…

Кратко

Опубликовано
Обновлено
Источник
蚂蚁百灵:Developer Blog(网页)
Категория
Другое
Оценка ИИ
86
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

为大模型长上下文优化提供可落地的工程实践参考。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Практика перестройки Ling 2.5 на гибридную линейную архитектуру Lightning Attention + MLA. 26 февраля 2026. https://new.nat6.net/ru/news/cmoecv1p6003usl1973hu5t5o/

Смотреть все →