เปิดตัวโมเดล

Ant inclusionAI เปิดโอเพนซอร์สโมเดลฐาน MoE พารามิเตอร์ล้านล้าน Ling-2.6-1T-base

หัวข้อต้นฉบับ:inclusionAI/Ling-2.6-1T-base

สรุปโดย AI

Ling-2.6-1T-base เป็นโมเดลฐาน MoE พารามิเตอร์ล้านล้านที่ Ant inclusionAI เปิดโอเพนซอร์ส (พารามิเตอร์รวมประมาณ 1T, เปิดใช้งาน 63B) พัฒนาต่อยอดจาก Ling-2.0-1T-base ใช้สถาปัตยกรรม linear attention ที่ผสม Lightning Attention กับ MLA ในอัตราส่วน 7:1 ผ่านการฝึกอบรมล่วงหน้าแบบถ่ายโอน การฝึกอบรมต่อเนื่อง และการฝึกอบรมกลางด้วยข้อมูลประมาณ 9.6T โทเคน ขยายหน้าต่างบริบทจาก 4K เป็น 256K เป็นระยะ เอาชนะรุ่นก่อนใน基準อย่าง MMLU (86.82), SimpleQA และ LongBenchv2 (43.54) โมเดลนี้มีไว้เพื่อการวิจัยเท่านั้น (การฝึกอบรมล่วงหน้าต่อ การปรับแต่ง การกลั่น) ไม่ให้บริการแชทโดยตรง

ข้อมูลสำคัญ

  • 6-1T-base เป็นโมเดลฐาน MoE พารามิเตอร์ล้านล้านที่ Ant inclusionAI เปิดโอเพนซอร์ส…
  • 0-1T-base ใช้สถาปัตยกรรม linear attention ที่ผสม Lightning Attention กับ MLA ในอัตราส่วน 7:1…
  • 6T โทเคน ขยายหน้าต่างบริบทจาก 4K เป็น 256K เป็นระยะ เอาชนะรุ่นก่อนใน基準อย่าง MMLU (86.
  • 82),SimpleQA และ LongBenchv2 (43.
  • 54) โมเดลนี้มีไว้เพื่อการวิจัยเท่านั้น (การฝึกอบรมล่วงหน้าต่อ การปรับแต่ง การกลั่น)…

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
蚂蚁 inclusionAI:HuggingFace 新模型
หมวดหมู่
เปิดตัวโมเดล
คะแนน AI
61
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

Ling-2.6 用混合线性注意力把万亿 MoE 基座模型的上下文能力推到了 256K,对于研究长上下文和 MoE 的团队是个有价值的基座,但它是未对齐的预训练模型,不能直接当对话助手用。

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: Ant inclusionAI เปิดโอเพนซอร์สโมเดลฐาน MoE พารามิเตอร์ล้านล้าน Ling-2.6-1T-base 2 มิถุนายน 2026 https://new.nat6.net/th/news/cmqg2a9rm02wlslsplna4jnm6/

ดูทั้งหมด →