MiniMax、MSA疎注意手法を発表、推論カーネルをオープンソース化しMiniMax-M3モデルをリリース
原題:MiniMax Sparse Attention (MSA): a Two-Branch Block-Sparse Attention Trained on a 109B-Parameter MoE With a 3T-Token Budget
AI 要約
MiniMaxはGrouped Query Attention上に構築した疎注意手法MSA(MiniMax Sparse Attention)を発表した。注意をインデックス分岐と主分岐に分解し、インデックス分岐はブロック粒度(デフォルト128トークン)で各GQAグループに16個のトークンブロック(固定予算2048キーバリュートークン)を選択し、主分岐はこれらのブロック上でのみ正確なsoftmax注意を実行する。MSAは109BパラメータのMoEモデルでトレーニングされ、NVIDIA SM100 GPU向け推論カーネル`fmha_sm100`(MITライセンス、BF16/FP8/NVFP4/FP4対応)をオープンソース化し、生産モデルMiniMax-M3をリリースした。MSA-PTはMMLU、GSM8K、HumanEval、RULER-8K、RULER-32Kでそれぞれ67.2、77.7、64.0、84.2、77.5に達し、全注意ベースラインと同等。128Kコンテキスト下で、そのexp-free Top-k選択は`torch.topk`より5.1倍高速である。
要点
- MiniMaxはGrouped Query Attention上に構築した疎注意手法MSA(MiniMax Sparse Attention)を発表した。
- 注意をインデックス分岐と主分岐に分解し、インデックス分岐はブロック粒度(デフォルト128トークン)で各GQAグループに16個のトークンブロック(固定予算2048キーバリュートークン)を選択し、主分岐…
- MSAは109BパラメータのMoEモデルでトレーニングされ、NVIDIA SM100 GPU向け推論カーネル`fmha_sm100`(MITライセンス、BF16/FP8/NVFP4/FP4対応)をオ…
- MSA-PTはMMLU、GSM8K、HumanEval、RULER-8K、RULER-32Kでそれぞれ67.
- 5に達し、全注意ベースラインと同等。
概要
- 公開日時
- 更新日時
- カテゴリ
- 論文・研究
- AI スコア
- 70
MiniMax 把长上下文注意力从 O(N) 压到固定每查询 2048 token,还同时开源高效内核与生产模型,对做长上下文 agent 的团队是即时可用的方法,遗憾是只限 SM100 GPU。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:MiniMax、MSA疎注意手法を発表、推論カーネルをオープンソース化しMiniMax-M3モデルをリリース。2026年6月17日。https://new.nat6.net/ja/news/cmqhsdiv401zcslf08vuq50zc/