Warum kann das MiniMax-Sprachmodell „Ma Jiaqi“ nicht aussprechen? Eine interne Untersuchung zur Vergesslichkeit seltener Token
Originaltitel:Why Can't the MiniMax LLM Say "Ma Jiaqi"? Internal Investigation of Sparse Token Forgetting
KI-Zusammenfassung
Die großen Sprachmodelle der MiniMax-M2-Serie können bei der Generierung den seltenen Token „Jiaqi“ (wie in „Ma Jiaqi“) nicht ausgeben. Eine interne Untersuchung schloss ein Tokenizer-Alignment-Problem aus und ergab als Ursache, dass in der Post-Training-Phase die Generierungswahrscheinlichkeit für seltene Token unterdrückt wird. Das Problem wurde in einem späteren Modell-Update behoben, wobei auch andere Probleme mit gemischten Kleinsprachen gelöst wurden.
Kernpunkte
- Die großen Sprachmodelle der MiniMax-M2-Serie können bei der Generierung den seltenen Token…
- Eine interne Untersuchung schloss ein Tokenizer-Alignment-Problem aus und ergab als Ursache,dass…
- Das Problem wurde in einem späteren Modell-Update behoben,wobei auch andere Probleme mit…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- MiniMax:Blog(网页)
- Kategorie
- Papers & Forschung
- KI-Bewertung
- 59
这种官方自己拆自己的技术调查不多见,把「低频token遗忘」从社区猜测一路推到SFT数据缺失导致lm_head漂移的根因,做模型训练的可以当案例看。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Warum kann das MiniMax-Sprachmodell „Ma Jiaqi“ nicht aussprechen? Eine interne Untersuchung zur Vergesslichkeit seltener Token. 26. Mai 2026. https://new.nat6.net/de/news/cmpunu0g50004slbrmt8z83g7/