การปรับปรุงสถาปัตยกรรมแบบ hybrid linear ของ Ling 2.5 Lightning Attention+MLA
สรุปโดย AI
เพื่อเพิ่มประสิทธิภาพการคำนวณในบริบทที่ยาวมาก สถาปัตยกรรม Ling 2.5 ได้เปลี่ยน GQA ของ Ling 2.0 เป็น attention แบบ hybrid linear ระหว่าง Lightning Attention และ MLA ในอัตรา 1:7 การเปลี่ยนแปลงนี้มุ่งใช้ Lightning Attention เพิ่ม throughput ของลำดับยาว และใช้ MLA บีบอัด KV Cache อย่างสุดขีด เพื่อให้มั่นใจว่าประสิทธิภาพไม่ลดลงหลังการปรับปรุง ทีมได้ออกแบบกลยุทธ์การฝึกย้ายแบบราบรื่นอย่างละเอียด รวมถึงการแปลงน้ำหนัก การผสาน QK Norm และการปรับ Partial RoPE ในหลายขั้นตอน การทดลอง Scaling Law ระบุว่า 1:7 เป็นสัดส่วนผสมที่เหมาะสมที่สุด ส่งผลให้โมเดลระดับล้านล้านพารามิเตอร์มีต้นทุนการคำนวณต่ำลงและประสิทธิภาพการอนุมานข้อความยาวสูงขึ้น
ข้อมูลสำคัญ
- เพื่อเพิ่มประสิทธิภาพการคำนวณในบริบทที่ยาวมาก สถาปัตยกรรม Ling 2.
- 5 ได้เปลี่ยน GQA ของ Ling 2.
- 0 เป็น attention แบบ hybrid linear ระหว่าง Lightning Attention และ MLA ในอัตรา 1:7…
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- 蚂蚁百灵:Developer Blog(网页)
- หมวดหมู่
- อื่น ๆ
- คะแนน AI
- 86
为大模型长上下文优化提供可落地的工程实践参考。
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: การปรับปรุงสถาปัตยกรรมแบบ hybrid linear ของ Ling 2.5 Lightning Attention+MLA 26 กุมภาพันธ์ 2026 https://new.nat6.net/th/news/cmoecv1p6003usl1973hu5t5o/