Inilabas ng MiniMax ang MSA sparse attention method, open-source inference kernel, at MiniMax-M3 model
Orihinal na pamagat:MiniMax Sparse Attention (MSA): a Two-Branch Block-Sparse Attention Trained on a 109B-Parameter MoE With a 3T-Token Budget
AI summary
Inilabas ng MiniMax ang MSA (MiniMax Sparse Attention), isang sparse attention method na binuo sa Grouped Query Attention. Hinahati nito ang attention sa index branch at main branch: pinipili ng index branch ang 16 token blocks para sa bawat GQA group sa block granularity (default 128 token) (fixed budget na 2048 key-value token), at ang main branch ay nagsasagawa ng eksaktong softmax attention sa mga block na ito lamang. Sinanay ang MSA sa 109B parameter MoE model, open-source ang inference kernel na `fmha_sm100` para sa NVIDIA SM100 GPU (MIT license, sumusuporta sa BF16/FP8/NVFP4/FP4), at inilabas ang production model na MiniMax-M3. Ang MSA-PT ay umabot sa 67.2, 77.7, 64.0, 84.2, at 77.5 sa MMLU, GSM8K, HumanEval, RULER-8K, at RULER-32K ayon sa pagkakasunod, na katumbas ng full attention baseline. Sa 128K context, ang exp-free Top-k selection nito ay 5.1 beses na mas mabilis kaysa sa `torch.topk`.
Mahahalagang impormasyon
- Inilabas ng MiniMax ang MSA (MiniMax Sparse Attention),isang sparse attention method na binuo sa…
- Hinahati nito ang attention sa index branch at main branch: pinipili ng index branch ang 16 token…
- Sinanay ang MSA sa 109B parameter MoE model,open-source ang inference kernel na `fmha_sm100` para…
- Ang MSA-PT ay umabot sa 67.
- 5 sa MMLU,GSM8K,HumanEval,RULER-8K,at RULER-32K ayon sa pagkakasunod,na katumbas ng full attention…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- MarkTechPost(RSS)
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 70
MiniMax 把长上下文注意力从 O(N) 压到固定每查询 2048 token,还同时开源高效内核与生产模型,对做长上下文 agent 的团队是即时可用的方法,遗憾是只限 SM100 GPU。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Inilabas ng MiniMax ang MSA sparse attention method, open-source inference kernel, at MiniMax-M3 model. 17 Hunyo 2026. https://new.nat6.net/fil/news/cmqhsdiv401zcslf08vuq50zc/