Ling 2.5 Lightning Attention+MLA 混合线性架构改造实践
AI 摘要
为提升超长上下文下的计算效率,Ling 2.5架构将Ling 2.0的GQA改造为1:7的Lightning Attention与MLA混合线性注意力。此举旨在利用Lightning Attention提升长序列吞吐,并通过MLA极致压缩KV Cache。为确保改造后性能无损,团队设计了精细的平滑迁移训练策略,包括权重转换、QK Norm融合与Partial RoPE改造等多阶段加训。Scaling Law实验确定了1:7为最优混合比例,最终使万亿参数模型实现了更低的计算成本与更高的长文本推理效率。
关键信息
- 为提升超长上下文下的计算效率,Ling 2.
- 5架构将Ling 2.
- 0的GQA改造为1:7的Lightning Attention与MLA混合线性注意力。
- 此举旨在利用Lightning Attention提升长序列吞吐,并通过MLA极致压缩KV Cache。
- 为确保改造后性能无损,团队设计了精细的平滑迁移训练策略,包括权重转换、QK Norm融合与Partial RoPE改造等多阶段加训。
速览
- 发布时间
- 更新时间
- 分类
- 其他
- AI 评分
- 86
推荐理由
为大模型长上下文优化提供可落地的工程实践参考。
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:Ling 2.5 Lightning Attention+MLA 混合线性架构改造实践。2026年2月26日。https://new.nat6.net/news/cmoecv1p6003usl1973hu5t5o/