Khác

Thực tiễn cải tạo kiến trúc tuyến tính hỗn hợp Ling 2.5 Lightning Attention+MLA

Tóm tắt AI

Nhằm nâng cao hiệu quả tính toán trong ngữ cảnh siêu dài, kiến trúc Ling 2.5 đã chuyển GQA của Ling 2.0 thành attention tuyến tính hỗn hợp Lightning Attention và MLA theo tỷ lệ 1:7. Mục tiêu là dùng Lightning Attention nâng thông lượng chuỗi dài và dùng MLA nén cực đại KV Cache. Để đảm bảo hiệu năng không suy giảm sau cải tạo, nhóm đã thiết kế chiến lược huấn luyện chuyển đổi mượt mà gồm nhiều giai đoạn như chuyển đổi trọng số, hợp nhất QK Norm và cải tạo Partial RoPE. Thí nghiệm Scaling Law xác định 1:7 là tỷ lệ hỗn hợp tối ưu, cuối cùng giúp mô hình nghìn tỷ tham số đạt chi phí tính toán thấp hơn và hiệu quả suy luận văn bản dài cao hơn.

Thông tin chính

  • Nhằm nâng cao hiệu quả tính toán trong ngữ cảnh siêu dài,kiến trúc Ling 2.
  • 5 đã chuyển GQA của Ling 2.
  • 0 thành attention tuyến tính hỗn hợp Lightning Attention và MLA theo tỷ lệ 1:7.
  • Mục tiêu là dùng Lightning Attention nâng thông lượng chuỗi dài và dùng MLA nén cực đại KV Cache.
  • Để đảm bảo hiệu năng không suy giảm sau cải tạo,nhóm đã thiết kế chiến lược huấn luyện chuyển đổi…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
蚂蚁百灵:Developer Blog(网页)
Danh mục
Khác
Điểm AI
86
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

为大模型长上下文优化提供可落地的工程实践参考。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Thực tiễn cải tạo kiến trúc tuyến tính hỗn hợp Ling 2.5 Lightning Attention+MLA. 26 tháng 2 2026. https://new.nat6.net/vi/news/cmoecv1p6003usl1973hu5t5o/

Xem tất cả →