Kasanayan sa pagbabago ng Ling 2.5 Lightning Attention+MLA hybrid linear architecture
AI summary
Upang mapabuti ang computational efficiency sa napakahabang konteksto, binago ng Ling 2.5 architecture ang GQA ng Ling 2.0 sa 1:7 na hybrid linear attention ng Lightning Attention at MLA. Layunin nitong gamitin ang Lightning Attention upang mapabuti ang throughput ng mahabang sequence, at lubos na i-compress ang KV Cache sa pamamagitan ng MLA. Upang matiyak na walang pagkawala sa performance pagkatapos ng pagbabago, nagdisenyo ang team ng pinong smooth migration training strategy, kabilang ang weight conversion, QK Norm fusion, at Partial RoPE modification at iba pang multi-stage additional training. Natukoy ng Scaling Law experiment na ang 1:7 ang pinakamainam na hybrid ratio, na sa huli ay nagbigay-daan sa trilyong-parameter na modelo na makamit ang mas mababang computational cost at mas mataas na long-text reasoning efficiency.
Mahahalagang impormasyon
- Upang mapabuti ang computational efficiency sa napakahabang konteksto,binago ng Ling 2.
- 5 architecture ang GQA ng Ling 2.
- 0 sa 1:7 na hybrid linear attention ng Lightning Attention at MLA.
- Layunin nitong gamitin ang Lightning Attention upang mapabuti ang throughput ng mahabang…
- Upang matiyak na walang pagkawala sa performance pagkatapos ng pagbabago,nagdisenyo ang team ng…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- 蚂蚁百灵:Developer Blog(网页)
- Kategorya
- Iba pa
- AI na marka
- 86
为大模型长上下文优化提供可落地的工程实践参考。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Kasanayan sa pagbabago ng Ling 2.5 Lightning Attention+MLA hybrid linear architecture. 26 Pebrero 2026. https://new.nat6.net/fil/news/cmoecv1p6003usl1973hu5t5o/