Amalan pengubahsuaian seni bina linear hibrid Ling 2.5 Lightning Attention+MLA
Ringkasan AI
Bagi meningkatkan kecekapan pengiraan dalam konteks ultra-panjang, seni bina Ling 2.5 mengubah GQA Ling 2.0 kepada perhatian linear hibrid Lightning Attention dan MLA pada nisbah 1:7. Langkah ini bertujuan memanfaatkan Lightning Attention untuk meningkatkan daya pemprosesan jujukan panjang, dan memampatkan KV Cache secara melampau melalui MLA. Bagi memastikan prestasi tidak terjejas selepas pengubahsuaian, pasukan mereka bentuk strategi latihan migrasi lancar yang halus, termasuk penukaran pemberat, gabungan QK Norm dan pengubahsuaian Partial RoPE dalam pelbagai peringkat latihan tambahan. Eksperimen Scaling Law menentukan 1:7 sebagai nisbah hibrid optimum, akhirnya membolehkan model trilion parameter mencapai kos pengiraan lebih rendah dan kecekapan penaakulan teks panjang lebih tinggi.
Maklumat penting
- Bagi meningkatkan kecekapan pengiraan dalam konteks ultra-panjang,seni bina Ling 2.
- 5 mengubah GQA Ling 2.
- 0 kepada perhatian linear hibrid Lightning Attention dan MLA pada nisbah 1:7.
- Langkah ini bertujuan memanfaatkan Lightning Attention untuk meningkatkan daya pemprosesan jujukan…
- Bagi memastikan prestasi tidak terjejas selepas pengubahsuaian,pasukan mereka bentuk strategi…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- 蚂蚁百灵:Developer Blog(网页)
- Kategori
- Lain-lain
- Skor AI
- 86
为大模型长上下文优化提供可落地的工程实践参考。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Amalan pengubahsuaian seni bina linear hibrid Ling 2.5 Lightning Attention+MLA. 26 Februari 2026. https://new.nat6.net/ms/news/cmoecv1p6003usl1973hu5t5o/