Mengapa model bahasa besar MiniMax tidak dapat menyebut "Ma Jiaqi"? Siasatan dalaman tentang kehilangan token jarang
Tajuk asal:Why Can't the MiniMax LLM Say "Ma Jiaqi"? Internal Investigation of Sparse Token Forgetting
Ringkasan AI
Siri model bahasa besar MiniMax M2 tidak dapat mengeluarkan token jarang "Jiaqi" (seperti "Ma Jiaqi") semasa penjanaan. Siasatan dalaman mengecualikan masalah penjajaran tokenizer, dan mendapati punca utama ialah peringkat latihan pasca-latihan yang menindas kebarangkalian penjanaan token frekuensi rendah. Masalah ini telah diperbaiki dalam kemas kini model seterusnya, dan secara kebetulan menyelesaikan masalah campuran bahasa kecil lain.
Maklumat penting
- Siri model bahasa besar MiniMax M2 tidak dapat mengeluarkan token jarang "Jiaqi" (seperti "Ma…
- Siasatan dalaman mengecualikan masalah penjajaran tokenizer,dan mendapati punca utama ialah…
- Masalah ini telah diperbaiki dalam kemas kini model seterusnya,dan secara kebetulan menyelesaikan…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- MiniMax:Blog(网页)
- Kategori
- Kertas penyelidikan
- Skor AI
- 59
这种官方自己拆自己的技术调查不多见,把「低频token遗忘」从社区猜测一路推到SFT数据缺失导致lm_head漂移的根因,做模型训练的可以当案例看。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Mengapa model bahasa besar MiniMax tidak dapat menyebut "Ma Jiaqi"? Siasatan dalaman tentang kehilangan token jarang. 26 Mei 2026. https://new.nat6.net/ms/news/cmpunu0g50004slbrmt8z83g7/