为什么MiniMax大语言模型无法说出“马嘉祺”?稀疏Token遗忘的内部调查
原文标题:Why Can't the MiniMax LLM Say "Ma Jiaqi"? Internal Investigation of Sparse Token Forgetting
AI 摘要
MiniMax M2系列大语言模型在生成时无法输出稀疏token“嘉祺”(如“马嘉祺”)。内部调查排除tokenizer对齐问题,发现根因是后训练阶段对低频token的生成概率产生抑制。该问题已在后续模型更新中修复,并顺带解决了其他小语种混合问题。
关键信息
- MiniMax M2系列大语言模型在生成时无法输出稀疏token“嘉祺”(如“马嘉祺”)。
- 内部调查排除tokenizer对齐问题,发现根因是后训练阶段对低频token的生成概率产生抑制。
- 该问题已在后续模型更新中修复,并顺带解决了其他小语种混合问题
- 这种官方自己拆自己的技术调查不多见,把「低频token遗忘」从社区猜测一路推到SFT数据缺失导致lm_head漂移的根因,做模型训练的可以当案例看
速览
- 发布时间
- 更新时间
- 分类
- 论文与研究
- AI 评分
- 59
推荐理由
这种官方自己拆自己的技术调查不多见,把「低频token遗忘」从社区猜测一路推到SFT数据缺失导致lm_head漂移的根因,做模型训练的可以当案例看。
相关实体
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:为什么MiniMax大语言模型无法说出“马嘉祺”?稀疏Token遗忘的内部调查。2026年5月26日。https://new.nat6.net/news/cmpunu0g50004slbrmt8z83g7/