Artículos e investigación

MiniMax presenta el método de atención dispersa MSA, abre el núcleo de inferencia y lanza el modelo MiniMax-M3

Título original:MiniMax Sparse Attention (MSA): a Two-Branch Block-Sparse Attention Trained on a 109B-Parameter MoE With a 3T-Token Budget

Resumen de IA

MiniMax presenta MSA (MiniMax Sparse Attention), un método de atención dispersa construido sobre Grouped Query Attention. Descompone la atención en una rama de índice y una rama principal: la rama de índice selecciona, a granularidad de bloque (128 tokens por defecto), 16 bloques de tokens para cada grupo GQA (presupuesto fijo de 2048 tokens clave-valor), y la rama principal ejecuta atención softmax exacta solo sobre esos bloques. MSA se entrenó en un modelo MoE de 109B de parámetros; se ha abierto el núcleo de inferencia `fmha_sm100` para GPU NVIDIA SM100 (licencia MIT, compatible con BF16/FP8/NVFP4/FP4) y se ha lanzado el modelo de producción MiniMax-M3. MSA-PT alcanza 67,2, 77,7, 64,0, 84,2 y 77,5 en MMLU, GSM8K, HumanEval, RULER-8K y RULER-32K, respectivamente, a la par que la línea base de atención completa. Con un contexto de 128K, su selección Top-k sin exponencial es 5,1 veces más rápida que `torch.topk`.

Puntos clave

  • MiniMax presenta MSA (MiniMax Sparse Attention),un método de atención dispersa construido sobre…
  • Descompone la atención en una rama de índice y una rama principal: la rama de índice selecciona,a…
  • MSA se entrenó en un modelo MoE de 109B de parámetros
  • se ha abierto el núcleo de inferencia `fmha_sm100` para GPU NVIDIA SM100 (licencia MIT,compatible…
  • MSA-PT alcanza 67,2,77,7,64,0,84,2 y 77,5 en MMLU,GSM8K,HumanEval,RULER-8K y…

Resumen rápido

Publicado
Actualizado
Fuente
MarkTechPost(RSS)
Categoría
Artículos e investigación
Puntuación IA
70
Leer el original Leer el artículo completo en la fuente original
Por qué importa

MiniMax 把长上下文注意力从 O(N) 压到固定每查询 2048 token,还同时开源高效内核与生产模型,对做长上下文 agent 的团队是即时可用的方法,遗憾是只限 SM100 GPU。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: MiniMax presenta el método de atención dispersa MSA, abre el núcleo de inferencia y lanza el modelo MiniMax-M3. 17. junio 2026. https://new.nat6.net/es/news/cmqhsdiv401zcslf08vuq50zc/

Ver todo →