inclusionAI ของ Ant เปิดโอเพนซอร์สโมเดลภาษาพื้นฐานประสิทธิภาพสูงซีรีส์ Ling-3.0
หัวข้อต้นฉบับ:inclusionAI/Ling-3.0-tiny-base-30T
สรุปโดย AI
inclusionAI ของ Ant เปิดโอเพนซอร์สโมเดลภาษาพื้นฐานประสิทธิภาพสูงซีรีส์ Ling-3.0 พร้อมเผยแพร่เช็กพอยต์ในขั้นตอน pre-training, mid-training และ merging (WSM) รองรับการ pre-training ต่อ การ fine-tune และการวิจัย Ling-3.0-tiny-base ใช้สถาปัตยกรรม sparse MoE มี routed experts 128 ตัว เปิดใช้งานเพียง 1.3B พารามิเตอร์ต่อโทเคน จากพารามิเตอร์รวม 7.9B และผสาน linear attention แบบเนทีฟเพื่อจัดการบริบทยาวได้อย่างมีประสิทธิภาพ
ข้อมูลสำคัญ
- inclusionAI ของ Ant เปิดโอเพนซอร์สโมเดลภาษาพื้นฐานประสิทธิภาพสูงซีรีส์ Ling-3.
- 0 พร้อมเผยแพร่เช็กพอยต์ในขั้นตอน pre-training,mid-training และ merging (WSM) รองรับการ…
- 0-tiny-base ใช้สถาปัตยกรรม sparse MoE มี routed experts 128 ตัว เปิดใช้งานเพียง 1.
- 3B พารามิเตอร์ต่อโทเคน จากพารามิเตอร์รวม 7.
- 9B และผสาน linear attention แบบเนทีฟเพื่อจัดการบริบทยาวได้อย่างมีประสิทธิภาพ
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- 蚂蚁 inclusionAI:HuggingFace 新模型
- หมวดหมู่
- เปิดตัวโมเดล
- คะแนน AI
- 63
它把学习率衰减替换为加权检查点合并,基座模型更适合持续预训练和数据扩展,做继续预训练或领域微调时可复用这一训练策略做离线探索。
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: inclusionAI ของ Ant เปิดโอเพนซอร์สโมเดลภาษาพื้นฐานประสิทธิภาพสูงซีรีส์ Ling-3.0 11 สิงหาคม 2026 https://new.nat6.net/th/news/cmt0aa8b416yxrodpvq5x791t/