Pourquoi le grand modèle de langage MiniMax ne peut pas prononcer « Ma Jiaqi » : enquête interne sur l'oubli de tokens rares
Titre original:Why Can't the MiniMax LLM Say "Ma Jiaqi"? Internal Investigation of Sparse Token Forgetting
Résumé IA
Les grands modèles de langage de la série MiniMax M2 ne parviennent pas à générer le token rare « Jiaqi » (comme dans « Ma Jiaqi »). Une enquête interne a écarté un problème d'alignement du tokenizer et a identifié comme cause racine la suppression de la probabilité de génération des tokens peu fréquents lors de la phase de post-entraînement. Le problème a été corrigé dans les mises à jour ultérieures du modèle, ce qui a également permis de résoudre d'autres problèmes de mélange de langues minoritaires.
Points clés
- Les grands modèles de langage de la série MiniMax M2 ne parviennent pas à générer le token rare «…
- Une enquête interne a écarté un problème d'alignement du tokenizer et a identifié comme cause…
- Le problème a été corrigé dans les mises à jour ultérieures du modèle,ce qui a également permis de…
En bref
- Publié
- Mis à jour
- Source
- MiniMax:Blog(网页)
- Catégorie
- Articles et recherche
- Score IA
- 59
这种官方自己拆自己的技术调查不多见,把「低频token遗忘」从社区猜测一路推到SFT数据缺失导致lm_head漂移的根因,做模型训练的可以当案例看。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Pourquoi le grand modèle de langage MiniMax ne peut pas prononcer « Ma Jiaqi » : enquête interne sur l'oubli de tokens rares. 26. mai 2026. https://new.nat6.net/fr/news/cmpunu0g50004slbrmt8z83g7/