Autres

Pratique de refonte de l'architecture hybride linéaire Lightning Attention + MLA de Ling 2.5

Résumé IA

Afin d'améliorer l'efficacité de calcul sur des contextes ultra-longs, l'architecture Ling 2.5 remplace le GQA de Ling 2.0 par une attention hybride linéaire combinant Lightning Attention et MLA dans un rapport de 1:7. L'objectif est d'accroître le débit sur les longues séquences grâce à Lightning Attention et de compresser extrêmement le KV Cache via MLA. Pour garantir l'absence de perte de performance, l'équipe a conçu une stratégie d'entraînement par migration progressive, incluant conversion des poids, fusion QK Norm et refonte Partial RoPE, en plusieurs phases. Les expériences de Scaling Law ont déterminé 1:7 comme ratio optimal, permettant au modèle à un billion de paramètres d'atteindre un coût de calcul plus faible et une meilleure efficacité d'inférence sur les longs textes.

Points clés

  • Afin d'améliorer l'efficacité de calcul sur des contextes ultra-longs,l'architecture Ling 2.
  • 5 remplace le GQA de Ling 2.
  • 0 par une attention hybride linéaire combinant Lightning Attention et MLA dans un rapport de 1:7.
  • L'objectif est d'accroître le débit sur les longues séquences grâce à Lightning Attention et de…
  • Pour garantir l'absence de perte de performance,l'équipe a conçu une stratégie d'entraînement par…

En bref

Publié
Mis à jour
Source
蚂蚁百灵:Developer Blog(网页)
Catégorie
Autres
Score IA
86
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

为大模型长上下文优化提供可落地的工程实践参考。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Pratique de refonte de l'architecture hybride linéaire Lightning Attention + MLA de Ling 2.5. 26. février 2026. https://new.nat6.net/fr/news/cmoecv1p6003usl1973hu5t5o/

Tout voir →