論文・研究

MiniMax、MSA疎注意手法を発表、推論カーネルをオープンソース化しMiniMax-M3モデルをリリース

原題:MiniMax Sparse Attention (MSA): a Two-Branch Block-Sparse Attention Trained on a 109B-Parameter MoE With a 3T-Token Budget

AI 要約

MiniMaxはGrouped Query Attention上に構築した疎注意手法MSA(MiniMax Sparse Attention)を発表した。注意をインデックス分岐と主分岐に分解し、インデックス分岐はブロック粒度(デフォルト128トークン)で各GQAグループに16個のトークンブロック(固定予算2048キーバリュートークン)を選択し、主分岐はこれらのブロック上でのみ正確なsoftmax注意を実行する。MSAは109BパラメータのMoEモデルでトレーニングされ、NVIDIA SM100 GPU向け推論カーネル`fmha_sm100`(MITライセンス、BF16/FP8/NVFP4/FP4対応)をオープンソース化し、生産モデルMiniMax-M3をリリースした。MSA-PTはMMLU、GSM8K、HumanEval、RULER-8K、RULER-32Kでそれぞれ67.2、77.7、64.0、84.2、77.5に達し、全注意ベースラインと同等。128Kコンテキスト下で、そのexp-free Top-k選択は`torch.topk`より5.1倍高速である。

要点

  • MiniMaxはGrouped Query Attention上に構築した疎注意手法MSA(MiniMax Sparse Attention)を発表した。
  • 注意をインデックス分岐と主分岐に分解し、インデックス分岐はブロック粒度(デフォルト128トークン)で各GQAグループに16個のトークンブロック(固定予算2048キーバリュートークン)を選択し、主分岐…
  • MSAは109BパラメータのMoEモデルでトレーニングされ、NVIDIA SM100 GPU向け推論カーネル`fmha_sm100`(MITライセンス、BF16/FP8/NVFP4/FP4対応)をオ…
  • MSA-PTはMMLU、GSM8K、HumanEval、RULER-8K、RULER-32Kでそれぞれ67.
  • 5に達し、全注意ベースラインと同等。

概要

公開日時
更新日時
出典
MarkTechPost(RSS)
カテゴリ
論文・研究
AI スコア
70
原文を読む 情報源で全文を読む
おすすめの理由

MiniMax 把长上下文注意力从 O(N) 压到固定每查询 2048 token,还同时开源高效内核与生产模型,对做长上下文 agent 的团队是即时可用的方法,遗憾是只限 SM100 GPU。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:MiniMax、MSA疎注意手法を発表、推論カーネルをオープンソース化しMiniMax-M3モデルをリリース。2026年6月17日。https://new.nat6.net/ja/news/cmqhsdiv401zcslf08vuq50zc/

すべて見る →