Lain-lain

Amalan pengubahsuaian seni bina linear hibrid Ling 2.5 Lightning Attention+MLA

Ringkasan AI

Bagi meningkatkan kecekapan pengiraan dalam konteks ultra-panjang, seni bina Ling 2.5 mengubah GQA Ling 2.0 kepada perhatian linear hibrid Lightning Attention dan MLA pada nisbah 1:7. Langkah ini bertujuan memanfaatkan Lightning Attention untuk meningkatkan daya pemprosesan jujukan panjang, dan memampatkan KV Cache secara melampau melalui MLA. Bagi memastikan prestasi tidak terjejas selepas pengubahsuaian, pasukan mereka bentuk strategi latihan migrasi lancar yang halus, termasuk penukaran pemberat, gabungan QK Norm dan pengubahsuaian Partial RoPE dalam pelbagai peringkat latihan tambahan. Eksperimen Scaling Law menentukan 1:7 sebagai nisbah hibrid optimum, akhirnya membolehkan model trilion parameter mencapai kos pengiraan lebih rendah dan kecekapan penaakulan teks panjang lebih tinggi.

Maklumat penting

  • Bagi meningkatkan kecekapan pengiraan dalam konteks ultra-panjang,seni bina Ling 2.
  • 5 mengubah GQA Ling 2.
  • 0 kepada perhatian linear hibrid Lightning Attention dan MLA pada nisbah 1:7.
  • Langkah ini bertujuan memanfaatkan Lightning Attention untuk meningkatkan daya pemprosesan jujukan…
  • Bagi memastikan prestasi tidak terjejas selepas pengubahsuaian,pasukan mereka bentuk strategi…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
蚂蚁百灵:Developer Blog(网页)
Kategori
Lain-lain
Skor AI
86
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

为大模型长上下文优化提供可落地的工程实践参考。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Amalan pengubahsuaian seni bina linear hibrid Ling 2.5 Lightning Attention+MLA. 26 Februari 2026. https://new.nat6.net/ms/news/cmoecv1p6003usl1973hu5t5o/

Lihat Semua →