Articles et recherche

MiniMax publie la méthode d'attention creuse MSA, ouvre son noyau d'inférence et lance le modèle MiniMax-M3

Titre original:MiniMax Sparse Attention (MSA): a Two-Branch Block-Sparse Attention Trained on a 109B-Parameter MoE With a 3T-Token Budget

Résumé IA

MiniMax publie MSA (MiniMax Sparse Attention), une méthode d'attention creuse construite sur Grouped Query Attention. Elle décompose l'attention en une branche d'indexation et une branche principale : la branche d'indexation sélectionne, à granularité de blocs (128 tokens par défaut), 16 blocs de tokens pour chaque groupe GQA (budget fixe de 2048 tokens clé-valeur), et la branche principale n'exécute l'attention softmax exacte que sur ces blocs. MSA est entraînée sur un modèle MoE de 109 milliards de paramètres ; MiniMax ouvre le noyau d'inférence `fmha_sm100` pour les GPU NVIDIA SM100 (licence MIT, prise en charge BF16/FP8/NVFP4/FP4) et publie le modèle de production MiniMax-M3. MSA-PT atteint respectivement 67,2, 77,7, 64,0, 84,2 et 77,5 sur MMLU, GSM8K, HumanEval, RULER-8K et RULER-32K, au niveau de la baseline en attention complète. Avec un contexte de 128K, sa sélection Top-k sans exponentielle est 5,1 fois plus rapide que `torch.topk`.

Points clés

  • MiniMax publie MSA (MiniMax Sparse Attention),une méthode d'attention creuse construite sur…
  • Elle décompose l'attention en une branche d'indexation et une branche principale: la branche…
  • MSA est entraînée sur un modèle MoE de 109 milliards de paramètres
  • MiniMax ouvre le noyau d'inférence `fmha_sm100` pour les GPU NVIDIA SM100 (licence MIT,prise en…
  • MSA-PT atteint respectivement 67,2,77,7,64,0,84,2 et 77,5 sur MMLU,GSM8K,HumanEval,RULER-8K et…

En bref

Publié
Mis à jour
Source
MarkTechPost(RSS)
Catégorie
Articles et recherche
Score IA
70
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

MiniMax 把长上下文注意力从 O(N) 压到固定每查询 2048 token,还同时开源高效内核与生产模型,对做长上下文 agent 的团队是即时可用的方法,遗憾是只限 SM100 GPU。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : MiniMax publie la méthode d'attention creuse MSA, ouvre son noyau d'inférence et lance le modèle MiniMax-M3. 17. juin 2026. https://new.nat6.net/fr/news/cmqhsdiv401zcslf08vuq50zc/

Tout voir →