Papers & Forschung

Warum kann das MiniMax-Sprachmodell „Ma Jiaqi“ nicht aussprechen? Eine interne Untersuchung zur Vergesslichkeit seltener Token

Originaltitel:Why Can't the MiniMax LLM Say "Ma Jiaqi"? Internal Investigation of Sparse Token Forgetting

KI-Zusammenfassung

Die großen Sprachmodelle der MiniMax-M2-Serie können bei der Generierung den seltenen Token „Jiaqi“ (wie in „Ma Jiaqi“) nicht ausgeben. Eine interne Untersuchung schloss ein Tokenizer-Alignment-Problem aus und ergab als Ursache, dass in der Post-Training-Phase die Generierungswahrscheinlichkeit für seltene Token unterdrückt wird. Das Problem wurde in einem späteren Modell-Update behoben, wobei auch andere Probleme mit gemischten Kleinsprachen gelöst wurden.

Kernpunkte

  • Die großen Sprachmodelle der MiniMax-M2-Serie können bei der Generierung den seltenen Token…
  • Eine interne Untersuchung schloss ein Tokenizer-Alignment-Problem aus und ergab als Ursache,dass…
  • Das Problem wurde in einem späteren Modell-Update behoben,wobei auch andere Probleme mit…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
MiniMax:Blog(网页)
Kategorie
Papers & Forschung
KI-Bewertung
59
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

这种官方自己拆自己的技术调查不多见,把「低频token遗忘」从社区猜测一路推到SFT数据缺失导致lm_head漂移的根因,做模型训练的可以当案例看。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Warum kann das MiniMax-Sprachmodell „Ma Jiaqi“ nicht aussprechen? Eine interne Untersuchung zur Vergesslichkeit seltener Token. 26. Mai 2026. https://new.nat6.net/de/news/cmpunu0g50004slbrmt8z83g7/

Alle ansehen →