論文・研究

なぜMiniMaxの大規模言語モデルは「馬嘉祺」と言えないのか?スパーストークン忘却の内部調査

原題:Why Can't the MiniMax LLM Say "Ma Jiaqi"? Internal Investigation of Sparse Token Forgetting

AI 要約

MiniMax M2シリーズの大規模言語モデルは生成時にスパーストークン「嘉祺」(「馬嘉祺」など)を出力できない。内部調査によりtokenizerのアライメント問題は排除され、根本原因は後処理段階で低頻度トークンの生成確率が抑制されることにあると判明した。この問題は後続のモデル更新で修正され、併せて他の小言語混在問題も解決された。

要点

  • MiniMax M2シリーズの大規模言語モデルは生成時にスパーストークン「嘉祺」(「馬嘉祺」など)を出力できない。
  • 内部調査によりtokenizerのアライメント問題は排除され、根本原因は後処理段階で低頻度トークンの生成確率が抑制されることにあると判明した。
  • この問題は後続のモデル更新で修正され、併せて他の小言語混在問題も解決された

概要

公開日時
更新日時
出典
MiniMax:Blog(网页)
カテゴリ
論文・研究
AI スコア
59
原文を読む 情報源で全文を読む
おすすめの理由

这种官方自己拆自己的技术调查不多见,把「低频token遗忘」从社区猜测一路推到SFT数据缺失导致lm_head漂移的根因,做模型训练的可以当案例看。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:なぜMiniMaxの大規模言語モデルは「馬嘉祺」と言えないのか?スパーストークン忘却の内部調査。2026年5月26日。https://new.nat6.net/ja/news/cmpunu0g50004slbrmt8z83g7/

すべて見る →
  • KPopの新手法によりRing-2.6-1TがSWE-bench Verifiedで76点を突破

    チームは、大規模MoEモデルのエージェント強化学習トレーニングを安定させるKPopを発表した。これは、以前のIcePop手法における固定比率マスクを、二元KLダイバージェンスに基づく適応型マスク機構に置き換え、トレーニング過程におけるトレ…

    X:蚂蚁百灵 (@AntLingAGI)論文・研究AI スコア 68

  • 産業を形作る物理AI研究

    Mistral AIはEmmi AIの買収を通じ、AI研究の最前線と産業エンジニアリングソリューションの推進への取り組みを強化する。航空宇宙、自動車、半導体、エネルギーなど物理世界を形作る中核産業向けに基礎的な物理AIモデルを構築し、エン…

    Mistral AI:News(网页)論文・研究AI スコア 55

  • AlphaProof Nexus:形式検証でAI数学証明探索を推進

    Google DeepMindはAlphaProof Nexusシステムを提案した。大規模言語モデルとLean形式検証ツールを組み合わせたもので、LLMが証明を生成する過程でLeanのコンパイルエラーを逐次読み取り修正できるほか、より強力…

    X:Rohan Paul (@rohanpaul_ai)論文・研究AI スコア 79

  • 社会科学におけるコーディングエージェント

    1,260名の定量的社会科学者を対象とした調査によると、81%の回答者がAIチャットボットを使用した経験があるものの、Claude CodeやCodexなどのコーディングエージェントを業務で日常的に活用しているのはわずか20%だった。採用…

    Anthropic:Research(发表成果 · 网页)論文・研究AI スコア 69