Práctica de transformación de la arquitectura lineal híbrida Lightning Attention+MLA de Ling 2.5
Resumen de IA
Para mejorar la eficiencia computacional en contextos ultralargos, la arquitectura Ling 2.5 transformó el GQA de Ling 2.0 en una atención lineal híbrida de Lightning Attention y MLA en proporción 1:7. El objetivo es aprovechar Lightning Attention para aumentar el rendimiento en secuencias largas y comprimir al máximo la KV Cache mediante MLA. Para garantizar que el rendimiento no se degrade tras la transformación, el equipo diseñó una estrategia de entrenamiento de migración suave y refinada, que incluye conversión de pesos, fusión de QK Norm y transformación de Partial RoPE en varias etapas de entrenamiento adicional. Los experimentos de Scaling Law determinaron que 1:7 es la proporción híbrida óptima, lo que permitió al modelo de un billón de parámetros lograr un menor coste computacional y una mayor eficiencia de razonamiento en textos largos.
Puntos clave
- Para mejorar la eficiencia computacional en contextos ultralargos,la arquitectura Ling 2.
- 5 transformó el GQA de Ling 2.
- 0 en una atención lineal híbrida de Lightning Attention y MLA en proporción 1:7.
- El objetivo es aprovechar Lightning Attention para aumentar el rendimiento en secuencias largas y…
- Para garantizar que el rendimiento no se degrade tras la transformación,el equipo diseñó una…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- 蚂蚁百灵:Developer Blog(网页)
- Categoría
- Otros
- Puntuación IA
- 86
为大模型长上下文优化提供可落地的工程实践参考。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Práctica de transformación de la arquitectura lineal híbrida Lightning Attention+MLA de Ling 2.5. 26. febrero 2026. https://new.nat6.net/es/news/cmoecv1p6003usl1973hu5t5o/