Papers & Forschung

MiniMax veröffentlicht MSA-Sparse-Attention-Methode, Open-Source-Inferenzkernel und Modell MiniMax-M3

Originaltitel:MiniMax Sparse Attention (MSA): a Two-Branch Block-Sparse Attention Trained on a 109B-Parameter MoE With a 3T-Token Budget

KI-Zusammenfassung

MiniMax veröffentlicht MSA (MiniMax Sparse Attention), eine auf Grouped Query Attention aufbauende Sparse-Attention-Methode. Sie zerlegt die Attention in einen Index-Zweig und einen Hauptzweig: Der Index-Zweig wählt auf Blockebene (standardmäßig 128 Token) für jede GQA-Gruppe 16 Token-Blöcke aus (festes Budget von 2048 Key-Value-Token), der Hauptzweig führt exakte Softmax-Attention nur auf diesen Blöcken aus. MSA wurde auf einem MoE-Modell mit 109B Parametern trainiert; MiniMax hat den Inferenzkernel `fmha_sm100` für NVIDIA-SM100-GPUs als Open Source veröffentlicht (MIT-Lizenz, Unterstützung für BF16/FP8/NVFP4/FP4) und das Produktionsmodell MiniMax-M3 herausgebracht. MSA-PT erreicht auf MMLU, GSM8K, HumanEval, RULER-8K und RULER-32K 67,2, 77,7, 64,0, 84,2 und 77,5 und liegt damit auf dem Niveau der Full-Attention-Baseline. Bei 128K-Kontext ist die exp-freie Top-k-Auswahl 5,1-mal schneller als `torch.topk`.

Kernpunkte

  • MiniMax veröffentlicht MSA (MiniMax Sparse Attention),eine auf Grouped Query Attention aufbauende…
  • Sie zerlegt die Attention in einen Index-Zweig und einen Hauptzweig: Der Index-Zweig wählt auf…
  • MSA wurde auf einem MoE-Modell mit 109B Parametern trainiert
  • MiniMax hat den Inferenzkernel `fmha_sm100` für NVIDIA-SM100-GPUs als Open Source veröffentlicht…
  • MSA-PT erreicht auf MMLU,GSM8K,HumanEval,RULER-8K und RULER-32K 67,2,77,7,64,0,84,2 und 77,5 und…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
MarkTechPost(RSS)
Kategorie
Papers & Forschung
KI-Bewertung
70
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

MiniMax 把长上下文注意力从 O(N) 压到固定每查询 2048 token,还同时开源高效内核与生产模型,对做长上下文 agent 的团队是即时可用的方法,遗憾是只限 SM100 GPU。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: MiniMax veröffentlicht MSA-Sparse-Attention-Methode, Open-Source-Inferenzkernel und Modell MiniMax-M3. 17. Juni 2026. https://new.nat6.net/de/news/cmqhsdiv401zcslf08vuq50zc/

Alle ansehen →