Ant inclusionAI เปิดโอเพนซอร์สโมเดลฐาน MoE พารามิเตอร์ล้านล้าน Ling-2.6-1T-base
หัวข้อต้นฉบับ:inclusionAI/Ling-2.6-1T-base
สรุปโดย AI
Ling-2.6-1T-base เป็นโมเดลฐาน MoE พารามิเตอร์ล้านล้านที่ Ant inclusionAI เปิดโอเพนซอร์ส (พารามิเตอร์รวมประมาณ 1T, เปิดใช้งาน 63B) พัฒนาต่อยอดจาก Ling-2.0-1T-base ใช้สถาปัตยกรรม linear attention ที่ผสม Lightning Attention กับ MLA ในอัตราส่วน 7:1 ผ่านการฝึกอบรมล่วงหน้าแบบถ่ายโอน การฝึกอบรมต่อเนื่อง และการฝึกอบรมกลางด้วยข้อมูลประมาณ 9.6T โทเคน ขยายหน้าต่างบริบทจาก 4K เป็น 256K เป็นระยะ เอาชนะรุ่นก่อนใน基準อย่าง MMLU (86.82), SimpleQA และ LongBenchv2 (43.54) โมเดลนี้มีไว้เพื่อการวิจัยเท่านั้น (การฝึกอบรมล่วงหน้าต่อ การปรับแต่ง การกลั่น) ไม่ให้บริการแชทโดยตรง
ข้อมูลสำคัญ
- 6-1T-base เป็นโมเดลฐาน MoE พารามิเตอร์ล้านล้านที่ Ant inclusionAI เปิดโอเพนซอร์ส…
- 0-1T-base ใช้สถาปัตยกรรม linear attention ที่ผสม Lightning Attention กับ MLA ในอัตราส่วน 7:1…
- 6T โทเคน ขยายหน้าต่างบริบทจาก 4K เป็น 256K เป็นระยะ เอาชนะรุ่นก่อนใน基準อย่าง MMLU (86.
- 82),SimpleQA และ LongBenchv2 (43.
- 54) โมเดลนี้มีไว้เพื่อการวิจัยเท่านั้น (การฝึกอบรมล่วงหน้าต่อ การปรับแต่ง การกลั่น)…
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- 蚂蚁 inclusionAI:HuggingFace 新模型
- หมวดหมู่
- เปิดตัวโมเดล
- คะแนน AI
- 61
Ling-2.6 用混合线性注意力把万亿 MoE 基座模型的上下文能力推到了 256K,对于研究长上下文和 MoE 的团队是个有价值的基座,但它是未对齐的预训练模型,不能直接当对话助手用。
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: Ant inclusionAI เปิดโอเพนซอร์สโมเดลฐาน MoE พารามิเตอร์ล้านล้าน Ling-2.6-1T-base 2 มิถุนายน 2026 https://new.nat6.net/th/news/cmqg2a9rm02wlslsplna4jnm6/