Lainnya

Praktik transformasi arsitektur linear hibrida Ling 2.5 Lightning Attention+MLA

Ringkasan AI

Untuk meningkatkan efisiensi komputasi pada konteks sangat panjang, arsitektur Ling 2.5 mengubah GQA pada Ling 2.0 menjadi perhatian linear hibrida Lightning Attention dan MLA dengan rasio 1:7. Langkah ini bertujuan memanfaatkan Lightning Attention untuk meningkatkan throughput sekuens panjang, sekaligus mengompresi KV Cache secara maksimal melalui MLA. Untuk memastikan performa tidak menurun setelah transformasi, tim merancang strategi pelatihan migrasi bertahap yang cermat, termasuk konversi bobot, fusi QK Norm, dan transformasi Partial RoPE dalam beberapa tahap pelatihan tambahan. Eksperimen Scaling Law menetapkan 1:7 sebagai rasio hibrida optimal, akhirnya memungkinkan model berparameter satu triliun mencapai biaya komputasi lebih rendah dan efisiensi penalaran teks panjang lebih tinggi.

Poin utama

  • Untuk meningkatkan efisiensi komputasi pada konteks sangat panjang,arsitektur Ling 2.
  • 5 mengubah GQA pada Ling 2.
  • 0 menjadi perhatian linear hibrida Lightning Attention dan MLA dengan rasio 1:7.
  • Langkah ini bertujuan memanfaatkan Lightning Attention untuk meningkatkan throughput sekuens…
  • Untuk memastikan performa tidak menurun setelah transformasi,tim merancang strategi pelatihan…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
蚂蚁百灵:Developer Blog(网页)
Kategori
Lainnya
Skor AI
86
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

为大模型长上下文优化提供可落地的工程实践参考。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Praktik transformasi arsitektur linear hibrida Ling 2.5 Lightning Attention+MLA. 26 Februari 2026. https://new.nat6.net/id/news/cmoecv1p6003usl1973hu5t5o/

Lihat semua →