Iba pa

Kasanayan sa pagbabago ng Ling 2.5 Lightning Attention+MLA hybrid linear architecture

AI summary

Upang mapabuti ang computational efficiency sa napakahabang konteksto, binago ng Ling 2.5 architecture ang GQA ng Ling 2.0 sa 1:7 na hybrid linear attention ng Lightning Attention at MLA. Layunin nitong gamitin ang Lightning Attention upang mapabuti ang throughput ng mahabang sequence, at lubos na i-compress ang KV Cache sa pamamagitan ng MLA. Upang matiyak na walang pagkawala sa performance pagkatapos ng pagbabago, nagdisenyo ang team ng pinong smooth migration training strategy, kabilang ang weight conversion, QK Norm fusion, at Partial RoPE modification at iba pang multi-stage additional training. Natukoy ng Scaling Law experiment na ang 1:7 ang pinakamainam na hybrid ratio, na sa huli ay nagbigay-daan sa trilyong-parameter na modelo na makamit ang mas mababang computational cost at mas mataas na long-text reasoning efficiency.

Mahahalagang impormasyon

  • Upang mapabuti ang computational efficiency sa napakahabang konteksto,binago ng Ling 2.
  • 5 architecture ang GQA ng Ling 2.
  • 0 sa 1:7 na hybrid linear attention ng Lightning Attention at MLA.
  • Layunin nitong gamitin ang Lightning Attention upang mapabuti ang throughput ng mahabang…
  • Upang matiyak na walang pagkawala sa performance pagkatapos ng pagbabago,nagdisenyo ang team ng…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
蚂蚁百灵:Developer Blog(网页)
Kategorya
Iba pa
AI na marka
86
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

为大模型长上下文优化提供可落地的工程实践参考。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Kasanayan sa pagbabago ng Ling 2.5 Lightning Attention+MLA hybrid linear architecture. 26 Pebrero 2026. https://new.nat6.net/fil/news/cmoecv1p6003usl1973hu5t5o/

Tingnan lahat →