其他

Ling 2.5 Lightning Attention+MLA 混合线性架构改造实践

AI 摘要

为提升超长上下文下的计算效率,Ling 2.5架构将Ling 2.0的GQA改造为1:7的Lightning Attention与MLA混合线性注意力。此举旨在利用Lightning Attention提升长序列吞吐,并通过MLA极致压缩KV Cache。为确保改造后性能无损,团队设计了精细的平滑迁移训练策略,包括权重转换、QK Norm融合与Partial RoPE改造等多阶段加训。Scaling Law实验确定了1:7为最优混合比例,最终使万亿参数模型实现了更低的计算成本与更高的长文本推理效率。

关键信息

  • 为提升超长上下文下的计算效率,Ling 2.
  • 5架构将Ling 2.
  • 0的GQA改造为1:7的Lightning Attention与MLA混合线性注意力。
  • 此举旨在利用Lightning Attention提升长序列吞吐,并通过MLA极致压缩KV Cache。
  • 为确保改造后性能无损,团队设计了精细的平滑迁移训练策略,包括权重转换、QK Norm融合与Partial RoPE改造等多阶段加训。

速览

发布时间
更新时间
来源
蚂蚁百灵:Developer Blog(网页)
分类
其他
AI 评分
86
阅读原文 前往信息源阅读完整正文
推荐理由

为大模型长上下文优化提供可落地的工程实践参考。

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:Ling 2.5 Lightning Attention+MLA 混合线性架构改造实践。2026年2月26日。https://new.nat6.net/news/cmoecv1p6003usl1973hu5t5o/

查看全部 →
  • OpenAI Codex 与 Figma 推出无缝代码转设计体验

    OpenAI 与 Figma 推出全新 Codex 集成,打通代码与设计的双向链路。开发团队可直接在代码实现与 Figma 画布间无缝切换,加速迭代和交付流程。

    OpenAI:官网动态(RSS · 排除企业/客户案例)其他

  • Anthropic CEO就与美国国防部谈判发表声明

    Anthropic CEO Dario Amodei发表声明,称Claude已广泛用于美国军方情报分析、网络作战等任务,公司曾主动放弃数亿美元收入以阻止关联企业使用Claude,并主张对芯片实施出口管制。Amodei表示拒绝两项用途:大规…

    Anthropic:Newsroom(网页)其他

  • 就战争部长 Pete Hegseth 评论的声明

    美国战争部长 Pete Hegseth 宣布将 Anthropic 列为供应链风险,因其拒绝将 Claude 用于大规模国内监控和完全自主武器。Anthropic 认为当前 AI 模型不足以支持自主武器,且大规模监控违反基本权利,称将在法…

    Anthropic:Newsroom(网页)其他

  • LLM Skirmish:AI代理可玩的实时战略游戏基准测试

    LLM Skirmish 是一个让大语言模型通过编写代码进行1v1实时战略游戏对战的基准测试。基于Screeps开源API,每场锦标赛包含五轮,LLM可根据对战日志调整策略以测试上下文学习能力。结果显示,Claude Opus 4.5以8…

    Hacker News:AI 热帖其他