MiniMax presenta el método de atención dispersa MSA, abre el núcleo de inferencia y lanza el modelo MiniMax-M3
Título original:MiniMax Sparse Attention (MSA): a Two-Branch Block-Sparse Attention Trained on a 109B-Parameter MoE With a 3T-Token Budget
Resumen de IA
MiniMax presenta MSA (MiniMax Sparse Attention), un método de atención dispersa construido sobre Grouped Query Attention. Descompone la atención en una rama de índice y una rama principal: la rama de índice selecciona, a granularidad de bloque (128 tokens por defecto), 16 bloques de tokens para cada grupo GQA (presupuesto fijo de 2048 tokens clave-valor), y la rama principal ejecuta atención softmax exacta solo sobre esos bloques. MSA se entrenó en un modelo MoE de 109B de parámetros; se ha abierto el núcleo de inferencia `fmha_sm100` para GPU NVIDIA SM100 (licencia MIT, compatible con BF16/FP8/NVFP4/FP4) y se ha lanzado el modelo de producción MiniMax-M3. MSA-PT alcanza 67,2, 77,7, 64,0, 84,2 y 77,5 en MMLU, GSM8K, HumanEval, RULER-8K y RULER-32K, respectivamente, a la par que la línea base de atención completa. Con un contexto de 128K, su selección Top-k sin exponencial es 5,1 veces más rápida que `torch.topk`.
Puntos clave
- MiniMax presenta MSA (MiniMax Sparse Attention),un método de atención dispersa construido sobre…
- Descompone la atención en una rama de índice y una rama principal: la rama de índice selecciona,a…
- MSA se entrenó en un modelo MoE de 109B de parámetros
- se ha abierto el núcleo de inferencia `fmha_sm100` para GPU NVIDIA SM100 (licencia MIT,compatible…
- MSA-PT alcanza 67,2,77,7,64,0,84,2 y 77,5 en MMLU,GSM8K,HumanEval,RULER-8K y…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- MarkTechPost(RSS)
- Categoría
- Artículos e investigación
- Puntuación IA
- 70
MiniMax 把长上下文注意力从 O(N) 压到固定每查询 2048 token,还同时开源高效内核与生产模型,对做长上下文 agent 的团队是即时可用的方法,遗憾是只限 SM100 GPU。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: MiniMax presenta el método de atención dispersa MSA, abre el núcleo de inferencia y lanza el modelo MiniMax-M3. 17. junio 2026. https://new.nat6.net/es/news/cmqhsdiv401zcslf08vuq50zc/