Kertas penyelidikan

Mengapa model bahasa besar MiniMax tidak dapat menyebut "Ma Jiaqi"? Siasatan dalaman tentang kehilangan token jarang

Tajuk asal:Why Can't the MiniMax LLM Say "Ma Jiaqi"? Internal Investigation of Sparse Token Forgetting

Ringkasan AI

Siri model bahasa besar MiniMax M2 tidak dapat mengeluarkan token jarang "Jiaqi" (seperti "Ma Jiaqi") semasa penjanaan. Siasatan dalaman mengecualikan masalah penjajaran tokenizer, dan mendapati punca utama ialah peringkat latihan pasca-latihan yang menindas kebarangkalian penjanaan token frekuensi rendah. Masalah ini telah diperbaiki dalam kemas kini model seterusnya, dan secara kebetulan menyelesaikan masalah campuran bahasa kecil lain.

Maklumat penting

  • Siri model bahasa besar MiniMax M2 tidak dapat mengeluarkan token jarang "Jiaqi" (seperti "Ma…
  • Siasatan dalaman mengecualikan masalah penjajaran tokenizer,dan mendapati punca utama ialah…
  • Masalah ini telah diperbaiki dalam kemas kini model seterusnya,dan secara kebetulan menyelesaikan…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
MiniMax:Blog(网页)
Kategori
Kertas penyelidikan
Skor AI
59
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

这种官方自己拆自己的技术调查不多见,把「低频token遗忘」从社区猜测一路推到SFT数据缺失导致lm_head漂移的根因,做模型训练的可以当案例看。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Mengapa model bahasa besar MiniMax tidak dapat menyebut "Ma Jiaqi"? Siasatan dalaman tentang kehilangan token jarang. 26 Mei 2026. https://new.nat6.net/ms/news/cmpunu0g50004slbrmt8z83g7/

Lihat Semua →