MiniMax veröffentlicht MSA-Sparse-Attention-Methode, Open-Source-Inferenzkernel und Modell MiniMax-M3
Originaltitel:MiniMax Sparse Attention (MSA): a Two-Branch Block-Sparse Attention Trained on a 109B-Parameter MoE With a 3T-Token Budget
KI-Zusammenfassung
MiniMax veröffentlicht MSA (MiniMax Sparse Attention), eine auf Grouped Query Attention aufbauende Sparse-Attention-Methode. Sie zerlegt die Attention in einen Index-Zweig und einen Hauptzweig: Der Index-Zweig wählt auf Blockebene (standardmäßig 128 Token) für jede GQA-Gruppe 16 Token-Blöcke aus (festes Budget von 2048 Key-Value-Token), der Hauptzweig führt exakte Softmax-Attention nur auf diesen Blöcken aus. MSA wurde auf einem MoE-Modell mit 109B Parametern trainiert; MiniMax hat den Inferenzkernel `fmha_sm100` für NVIDIA-SM100-GPUs als Open Source veröffentlicht (MIT-Lizenz, Unterstützung für BF16/FP8/NVFP4/FP4) und das Produktionsmodell MiniMax-M3 herausgebracht. MSA-PT erreicht auf MMLU, GSM8K, HumanEval, RULER-8K und RULER-32K 67,2, 77,7, 64,0, 84,2 und 77,5 und liegt damit auf dem Niveau der Full-Attention-Baseline. Bei 128K-Kontext ist die exp-freie Top-k-Auswahl 5,1-mal schneller als `torch.topk`.
Kernpunkte
- MiniMax veröffentlicht MSA (MiniMax Sparse Attention),eine auf Grouped Query Attention aufbauende…
- Sie zerlegt die Attention in einen Index-Zweig und einen Hauptzweig: Der Index-Zweig wählt auf…
- MSA wurde auf einem MoE-Modell mit 109B Parametern trainiert
- MiniMax hat den Inferenzkernel `fmha_sm100` für NVIDIA-SM100-GPUs als Open Source veröffentlicht…
- MSA-PT erreicht auf MMLU,GSM8K,HumanEval,RULER-8K und RULER-32K 67,2,77,7,64,0,84,2 und 77,5 und…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- MarkTechPost(RSS)
- Kategorie
- Papers & Forschung
- KI-Bewertung
- 70
MiniMax 把长上下文注意力从 O(N) 压到固定每查询 2048 token,还同时开源高效内核与生产模型,对做长上下文 agent 的团队是即时可用的方法,遗憾是只限 SM100 GPU。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: MiniMax veröffentlicht MSA-Sparse-Attention-Methode, Open-Source-Inferenzkernel und Modell MiniMax-M3. 17. Juni 2026. https://new.nat6.net/de/news/cmqhsdiv401zcslf08vuq50zc/