inclusionAI ของ Ant เปิดโอเพนซอร์สโมเดลภาษาพื้นฐานซีรีส์ Ling-3.0
หัวข้อต้นฉบับ:inclusionAI/Ling-3.0-tiny-base
สรุปโดย AI
inclusionAI ของ Ant เปิดโอเพนซอร์สโมเดลภาษาพื้นฐานซีรีส์ Ling-3.0 ประกอบด้วยขนาด tiny และ flash พร้อมเช็กพอยต์ในขั้นตอน pre-training, mid-training และ merging (WSM) ซีรีส์นี้ใช้สถาปัตยกรรม hybrid linear attention และ sparse MoE มีพารามิเตอร์รวม 7.9B เปิดใช้งานเพียง 1.3B พารามิเตอร์ต่อโทเคน (เปิดใช้งาน 8 จาก 128 routed experts)
ข้อมูลสำคัญ
- inclusionAI ของ Ant เปิดโอเพนซอร์สโมเดลภาษาพื้นฐานซีรีส์ Ling-3.
- 0 ประกอบด้วยขนาด tiny และ flash พร้อมเช็กพอยต์ในขั้นตอน pre-training,mid-training และ merging…
- 9B เปิดใช้งานเพียง 1.
- 3B พารามิเตอร์ต่อโทเคน (เปิดใช้งาน 8 จาก 128 routed experts)
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- 蚂蚁 inclusionAI:HuggingFace 新模型
- หมวดหมู่
- เปิดตัวโมเดล
- คะแนน AI
- 65
用加权检查点合并替代学习率衰减,让基座模型更适合持续预训练,也为验证不同衰减曲线省去重复实验。
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: inclusionAI ของ Ant เปิดโอเพนซอร์สโมเดลภาษาพื้นฐานซีรีส์ Ling-3.0 11 สิงหาคม 2026 https://new.nat6.net/th/news/cmt0aa8b416ywrodpq8czlstx/