อื่น ๆ

การปรับปรุงสถาปัตยกรรมแบบ hybrid linear ของ Ling 2.5 Lightning Attention+MLA

สรุปโดย AI

เพื่อเพิ่มประสิทธิภาพการคำนวณในบริบทที่ยาวมาก สถาปัตยกรรม Ling 2.5 ได้เปลี่ยน GQA ของ Ling 2.0 เป็น attention แบบ hybrid linear ระหว่าง Lightning Attention และ MLA ในอัตรา 1:7 การเปลี่ยนแปลงนี้มุ่งใช้ Lightning Attention เพิ่ม throughput ของลำดับยาว และใช้ MLA บีบอัด KV Cache อย่างสุดขีด เพื่อให้มั่นใจว่าประสิทธิภาพไม่ลดลงหลังการปรับปรุง ทีมได้ออกแบบกลยุทธ์การฝึกย้ายแบบราบรื่นอย่างละเอียด รวมถึงการแปลงน้ำหนัก การผสาน QK Norm และการปรับ Partial RoPE ในหลายขั้นตอน การทดลอง Scaling Law ระบุว่า 1:7 เป็นสัดส่วนผสมที่เหมาะสมที่สุด ส่งผลให้โมเดลระดับล้านล้านพารามิเตอร์มีต้นทุนการคำนวณต่ำลงและประสิทธิภาพการอนุมานข้อความยาวสูงขึ้น

ข้อมูลสำคัญ

  • เพื่อเพิ่มประสิทธิภาพการคำนวณในบริบทที่ยาวมาก สถาปัตยกรรม Ling 2.
  • 5 ได้เปลี่ยน GQA ของ Ling 2.
  • 0 เป็น attention แบบ hybrid linear ระหว่าง Lightning Attention และ MLA ในอัตรา 1:7…

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
蚂蚁百灵:Developer Blog(网页)
หมวดหมู่
อื่น ๆ
คะแนน AI
86
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

为大模型长上下文优化提供可落地的工程实践参考。

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: การปรับปรุงสถาปัตยกรรมแบบ hybrid linear ของ Ling 2.5 Lightning Attention+MLA 26 กุมภาพันธ์ 2026 https://new.nat6.net/th/news/cmoecv1p6003usl1973hu5t5o/

ดูทั้งหมด →