Articles et recherche

Pourquoi le grand modèle de langage MiniMax ne peut pas prononcer « Ma Jiaqi » : enquête interne sur l'oubli de tokens rares

Titre original:Why Can't the MiniMax LLM Say "Ma Jiaqi"? Internal Investigation of Sparse Token Forgetting

Résumé IA

Les grands modèles de langage de la série MiniMax M2 ne parviennent pas à générer le token rare « Jiaqi » (comme dans « Ma Jiaqi »). Une enquête interne a écarté un problème d'alignement du tokenizer et a identifié comme cause racine la suppression de la probabilité de génération des tokens peu fréquents lors de la phase de post-entraînement. Le problème a été corrigé dans les mises à jour ultérieures du modèle, ce qui a également permis de résoudre d'autres problèmes de mélange de langues minoritaires.

Points clés

  • Les grands modèles de langage de la série MiniMax M2 ne parviennent pas à générer le token rare «…
  • Une enquête interne a écarté un problème d'alignement du tokenizer et a identifié comme cause…
  • Le problème a été corrigé dans les mises à jour ultérieures du modèle,ce qui a également permis de…

En bref

Publié
Mis à jour
Source
MiniMax:Blog(网页)
Catégorie
Articles et recherche
Score IA
59
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

这种官方自己拆自己的技术调查不多见,把「低频token遗忘」从社区猜测一路推到SFT数据缺失导致lm_head漂移的根因,做模型训练的可以当案例看。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Pourquoi le grand modèle de langage MiniMax ne peut pas prononcer « Ma Jiaqi » : enquête interne sur l'oubli de tokens rares. 26. mai 2026. https://new.nat6.net/fr/news/cmpunu0g50004slbrmt8z83g7/

Tout voir →