เปิดตัวโมเดล

inclusionAI ของ Ant เปิดโอเพนซอร์สโมเดลภาษาพื้นฐานประสิทธิภาพสูงซีรีส์ Ling-3.0

หัวข้อต้นฉบับ:inclusionAI/Ling-3.0-flash-base-30T

สรุปโดย AI

inclusionAI ของ Ant เปิดโอเพนซอร์สโมเดลภาษาพื้นฐานซีรีส์ Ling-3.0 พร้อมเผยแพร่เช็กพอยต์หลายขั้นตอน ได้แก่ pre-training, mid-training และ merging (WSM) ซีรีส์นี้ใช้สถาปัตยกรรม MoE แบบ稀疏สูง (1/64) เปิดใช้งานเพียง 8 จาก 512 routed experts ต่อโทเคน มีพารามิเตอร์ที่เปิดใช้งานเพียง 5.1B (Non-emb) พารามิเตอร์รวม 124B และผสาน KDA กับ Gated MLA hybrid linear attention แบบเนทีฟเพื่อจัดการบริบทยาวอย่างมีประสิทธิภาพ

ข้อมูลสำคัญ

  • inclusionAI ของ Ant เปิดโอเพนซอร์สโมเดลภาษาพื้นฐานซีรีส์ Ling-3.
  • 0 พร้อมเผยแพร่เช็กพอยต์หลายขั้นตอน ได้แก่ pre-training,mid-training และ merging (WSM) ซีรีส์นี้ใช้ส…
  • 1B (Non-emb) พารามิเตอร์รวม 124B และผสาน KDA กับ Gated MLA hybrid linear attention…

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
蚂蚁 inclusionAI:HuggingFace 新模型
หมวดหมู่
เปิดตัวโมเดล
คะแนน AI
68
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

把学习率衰减替换为权重合并并发布训练各阶段检查点,使持续预训练与不同衰减策略的离线比较不必逐次重跑,降低实验成本。

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: inclusionAI ของ Ant เปิดโอเพนซอร์สโมเดลภาษาพื้นฐานประสิทธิภาพสูงซีรีส์ Ling-3.0 11 สิงหาคม 2026 https://new.nat6.net/th/news/cmt0aa8b416yzrodp2cnlw3wj/

ดูทั้งหมด →