Makalah & Riset

Mengapa model bahasa besar MiniMax tidak dapat menyebut "Ma Jiaqi"? Investigasi internal tentang kelupaan token sparse

Judul asli:Why Can't the MiniMax LLM Say "Ma Jiaqi"? Internal Investigation of Sparse Token Forgetting

Ringkasan AI

Model bahasa besar seri MiniMax M2 tidak dapat menghasilkan token sparse "Jiaqi" (seperti dalam "Ma Jiaqi") saat generasi. Investigasi internal menyingkirkan masalah keselarasan tokenizer dan menemukan akar masalahnya adalah penekanan probabilitas generasi token berfrekuensi rendah pada tahap pasca-pelatihan. Masalah ini telah diperbaiki dalam pembaruan model berikutnya, sekaligus menyelesaikan masalah pencampuran bahasa minoritas lainnya.

Poin utama

  • Model bahasa besar seri MiniMax M2 tidak dapat menghasilkan token sparse "Jiaqi" (seperti dalam…
  • Investigasi internal menyingkirkan masalah keselarasan tokenizer dan menemukan akar masalahnya…
  • Masalah ini telah diperbaiki dalam pembaruan model berikutnya,sekaligus menyelesaikan masalah…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
MiniMax:Blog(网页)
Kategori
Makalah & Riset
Skor AI
59
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

这种官方自己拆自己的技术调查不多见,把「低频token遗忘」从社区猜测一路推到SFT数据缺失导致lm_head漂移的根因,做模型训练的可以当案例看。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Mengapa model bahasa besar MiniMax tidak dapat menyebut "Ma Jiaqi"? Investigasi internal tentang kelupaan token sparse. 26 Mei 2026. https://new.nat6.net/id/news/cmpunu0g50004slbrmt8z83g7/

Lihat semua →