Thực tiễn cải tạo kiến trúc tuyến tính hỗn hợp Ling 2.5 Lightning Attention+MLA
Tóm tắt AI
Nhằm nâng cao hiệu quả tính toán trong ngữ cảnh siêu dài, kiến trúc Ling 2.5 đã chuyển GQA của Ling 2.0 thành attention tuyến tính hỗn hợp Lightning Attention và MLA theo tỷ lệ 1:7. Mục tiêu là dùng Lightning Attention nâng thông lượng chuỗi dài và dùng MLA nén cực đại KV Cache. Để đảm bảo hiệu năng không suy giảm sau cải tạo, nhóm đã thiết kế chiến lược huấn luyện chuyển đổi mượt mà gồm nhiều giai đoạn như chuyển đổi trọng số, hợp nhất QK Norm và cải tạo Partial RoPE. Thí nghiệm Scaling Law xác định 1:7 là tỷ lệ hỗn hợp tối ưu, cuối cùng giúp mô hình nghìn tỷ tham số đạt chi phí tính toán thấp hơn và hiệu quả suy luận văn bản dài cao hơn.
Thông tin chính
- Nhằm nâng cao hiệu quả tính toán trong ngữ cảnh siêu dài,kiến trúc Ling 2.
- 5 đã chuyển GQA của Ling 2.
- 0 thành attention tuyến tính hỗn hợp Lightning Attention và MLA theo tỷ lệ 1:7.
- Mục tiêu là dùng Lightning Attention nâng thông lượng chuỗi dài và dùng MLA nén cực đại KV Cache.
- Để đảm bảo hiệu năng không suy giảm sau cải tạo,nhóm đã thiết kế chiến lược huấn luyện chuyển đổi…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- 蚂蚁百灵:Developer Blog(网页)
- Danh mục
- Khác
- Điểm AI
- 86
为大模型长上下文优化提供可落地的工程实践参考。
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Thực tiễn cải tạo kiến trúc tuyến tính hỗn hợp Ling 2.5 Lightning Attention+MLA. 26 tháng 2 2026. https://new.nat6.net/vi/news/cmoecv1p6003usl1973hu5t5o/