ทำไมโมเดลภาษาขนาดใหญ่ MiniMax จึงพูดคำว่า "หม่าเจียฉี" ไม่ได้? การสอบสวนภายในเกี่ยวกับการลืมโทเค็นแบบ sparse
หัวข้อต้นฉบับ:Why Can't the MiniMax LLM Say "Ma Jiaqi"? Internal Investigation of Sparse Token Forgetting
สรุปโดย AI
โมเดลภาษาขนาดใหญ่ตระกูล MiniMax M2 ไม่สามารถสร้างโทเค็นแบบ sparse อย่าง "เจียฉี" (เช่น "หม่าเจียฉี") ได้เมื่อสร้างข้อความ การสอบสวนภายในได้ตัดประเด็นปัญหา tokenizer alignment ออก และพบว่าสาเหตุรากคือขั้นตอนหลังการฝึกอบรมที่กดความน่าจะเป็นในการสร้างโทเค็นความถี่ต่ำ ปัญหานี้ได้รับการแก้ไขแล้วในการอัปเดตโมเดลครั้งถัดไป และยังแก้ปัญหาการผสมภาษาต่างประเทศขนาดเล็กอื่น ๆ ไปด้วย
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- MiniMax:Blog(网页)
- หมวดหมู่
- บทความและงานวิจัย
- คะแนน AI
- 59
这种官方自己拆自己的技术调查不多见,把「低频token遗忘」从社区猜测一路推到SFT数据缺失导致lm_head漂移的根因,做模型训练的可以当案例看。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: ทำไมโมเดลภาษาขนาดใหญ่ MiniMax จึงพูดคำว่า "หม่าเจียฉี" ไม่ได้? การสอบสวนภายในเกี่ยวกับการลืมโทเค็นแบบ sparse 26 พฤษภาคม 2026 https://new.nat6.net/th/news/cmpunu0g50004slbrmt8z83g7/