论文与研究

为什么MiniMax大语言模型无法说出“马嘉祺”?稀疏Token遗忘的内部调查

原文标题:Why Can't the MiniMax LLM Say "Ma Jiaqi"? Internal Investigation of Sparse Token Forgetting

AI 摘要

MiniMax M2系列大语言模型在生成时无法输出稀疏token“嘉祺”(如“马嘉祺”)。内部调查排除tokenizer对齐问题,发现根因是后训练阶段对低频token的生成概率产生抑制。该问题已在后续模型更新中修复,并顺带解决了其他小语种混合问题。

关键信息

  • MiniMax M2系列大语言模型在生成时无法输出稀疏token“嘉祺”(如“马嘉祺”)。
  • 内部调查排除tokenizer对齐问题,发现根因是后训练阶段对低频token的生成概率产生抑制。
  • 该问题已在后续模型更新中修复,并顺带解决了其他小语种混合问题
  • 这种官方自己拆自己的技术调查不多见,把「低频token遗忘」从社区猜测一路推到SFT数据缺失导致lm_head漂移的根因,做模型训练的可以当案例看

速览

发布时间
更新时间
来源
MiniMax:Blog(网页)
分类
论文与研究
AI 评分
59
阅读原文 前往信息源阅读完整正文
推荐理由

这种官方自己拆自己的技术调查不多见,把「低频token遗忘」从社区猜测一路推到SFT数据缺失导致lm_head漂移的根因,做模型训练的可以当案例看。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:为什么MiniMax大语言模型无法说出“马嘉祺”?稀疏Token遗忘的内部调查。2026年5月26日。https://new.nat6.net/news/cmpunu0g50004slbrmt8z83g7/

查看全部 →
  • KPop 新方法让 Ring-2.6-1T 在 SWE-bench Verified 上突破 76 分

    团队推出 KPop,用于稳定大规模 MoE 模型的智能体强化学习训练。它用基于二元 KL 散度的自适应掩码机制,替代了此前 IcePop 方法中的固定比例掩码,能根据训练过程中的训练-推理不匹配程度动态调整。这一改进使得 Ring-2.6…

    X:蚂蚁百灵 (@AntLingAGI)论文与研究AI 评分 68

  • 塑造产业的物理AI研究

    Mistral AI通过收购Emmi AI,强化其在推动AI研究前沿与工业工程解决方案方面的投入。其目标是为航空航天、汽车、半导体和能源等塑造物理世界的核心产业构建基础性物理AI模型,以加速工程开发。此项研究基于一系列已发表的突破性成果,…

    Mistral AI:News(网页)论文与研究AI 评分 55

  • AlphaProof Nexus:用形式化验证驱动AI数学证明搜索

    Google DeepMind提出了AlphaProof Nexus系统,它将大型语言模型与Lean形式化验证工具相结合。该系统允许LLM在生成证明的过程中,不断读取Lean的编译错误并进行修正,还可调用更强的工具辅助解决子问题。这一机制…

    X:Rohan Paul (@rohanpaul_ai)论文与研究AI 评分 79

  • 社会科学中的编码智能体

    一项针对1260名定量社会科学家的调查显示,虽然81%的受访者用过AI聊天机器人,但仅有20%将Claude Code、Codex等编码智能体常规应用于工作。采用率存在显著差异:以男性名字命名的研究者使用率是女性研究者的两倍;顶尖大学研究…

    Anthropic:Research(发表成果 · 网页)论文与研究AI 评分 69