Mengapa model bahasa besar MiniMax tidak dapat menyebut "Ma Jiaqi"? Investigasi internal tentang kelupaan token sparse
Judul asli:Why Can't the MiniMax LLM Say "Ma Jiaqi"? Internal Investigation of Sparse Token Forgetting
Ringkasan AI
Model bahasa besar seri MiniMax M2 tidak dapat menghasilkan token sparse "Jiaqi" (seperti dalam "Ma Jiaqi") saat generasi. Investigasi internal menyingkirkan masalah keselarasan tokenizer dan menemukan akar masalahnya adalah penekanan probabilitas generasi token berfrekuensi rendah pada tahap pasca-pelatihan. Masalah ini telah diperbaiki dalam pembaruan model berikutnya, sekaligus menyelesaikan masalah pencampuran bahasa minoritas lainnya.
Poin utama
- Model bahasa besar seri MiniMax M2 tidak dapat menghasilkan token sparse "Jiaqi" (seperti dalam…
- Investigasi internal menyingkirkan masalah keselarasan tokenizer dan menemukan akar masalahnya…
- Masalah ini telah diperbaiki dalam pembaruan model berikutnya,sekaligus menyelesaikan masalah…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- MiniMax:Blog(网页)
- Kategori
- Makalah & Riset
- Skor AI
- 59
这种官方自己拆自己的技术调查不多见,把「低频token遗忘」从社区猜测一路推到SFT数据缺失导致lm_head漂移的根因,做模型训练的可以当案例看。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Mengapa model bahasa besar MiniMax tidak dapat menyebut "Ma Jiaqi"? Investigasi internal tentang kelupaan token sparse. 26 Mei 2026. https://new.nat6.net/id/news/cmpunu0g50004slbrmt8z83g7/