เปิดตัวโมเดล

inclusionAI ของ Ant เปิดโอเพนซอร์สโมเดลภาษาพื้นฐานประสิทธิภาพสูงซีรีส์ Ling-3.0

หัวข้อต้นฉบับ:inclusionAI/Ling-3.0-tiny-base-30T

สรุปโดย AI

inclusionAI ของ Ant เปิดโอเพนซอร์สโมเดลภาษาพื้นฐานประสิทธิภาพสูงซีรีส์ Ling-3.0 พร้อมเผยแพร่เช็กพอยต์ในขั้นตอน pre-training, mid-training และ merging (WSM) รองรับการ pre-training ต่อ การ fine-tune และการวิจัย Ling-3.0-tiny-base ใช้สถาปัตยกรรม sparse MoE มี routed experts 128 ตัว เปิดใช้งานเพียง 1.3B พารามิเตอร์ต่อโทเคน จากพารามิเตอร์รวม 7.9B และผสาน linear attention แบบเนทีฟเพื่อจัดการบริบทยาวได้อย่างมีประสิทธิภาพ

ข้อมูลสำคัญ

  • inclusionAI ของ Ant เปิดโอเพนซอร์สโมเดลภาษาพื้นฐานประสิทธิภาพสูงซีรีส์ Ling-3.
  • 0 พร้อมเผยแพร่เช็กพอยต์ในขั้นตอน pre-training,mid-training และ merging (WSM) รองรับการ…
  • 0-tiny-base ใช้สถาปัตยกรรม sparse MoE มี routed experts 128 ตัว เปิดใช้งานเพียง 1.
  • 3B พารามิเตอร์ต่อโทเคน จากพารามิเตอร์รวม 7.
  • 9B และผสาน linear attention แบบเนทีฟเพื่อจัดการบริบทยาวได้อย่างมีประสิทธิภาพ

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
蚂蚁 inclusionAI:HuggingFace 新模型
หมวดหมู่
เปิดตัวโมเดล
คะแนน AI
63
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

它把学习率衰减替换为加权检查点合并,基座模型更适合持续预训练和数据扩展,做继续预训练或领域微调时可复用这一训练策略做离线探索。

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: inclusionAI ของ Ant เปิดโอเพนซอร์สโมเดลภาษาพื้นฐานประสิทธิภาพสูงซีรีส์ Ling-3.0 11 สิงหาคม 2026 https://new.nat6.net/th/news/cmt0aa8b416yxrodpvq5x791t/

ดูทั้งหมด →