MiniMax представила метод разреженного внимания MSA, открыла ядро инференса и выпустила модель MiniMax-M3
Оригинальный заголовок:MiniMax Sparse Attention (MSA): a Two-Branch Block-Sparse Attention Trained on a 109B-Parameter MoE With a 3T-Token Budget
ИИ-резюме
MiniMax представила MSA (MiniMax Sparse Attention) — метод разреженного внимания, построенный на Grouped Query Attention. Он разделяет внимание на индексную и основную ветви: индексная ветвь на уровне блоков (по умолчанию 128 токенов) выбирает для каждой группы GQA 16 блоков токенов (фиксированный бюджет 2048 ключевых и значений токенов), а основная ветвь выполняет точное softmax-внимание только по этим блокам. MSA обучен на MoE-модели с 109B параметров; открыто ядро инференса `fmha_sm100` для GPU NVIDIA SM100 (лицензия MIT, поддержка BF16/FP8/NVFP4/FP4) и выпущена производственная модель MiniMax-M3. MSA-PT показывает 67,2, 77,7, 64,0, 84,2 и 77,5 на MMLU, GSM8K, HumanEval, RULER-8K и RULER-32K соответственно, на уровне базовой линии с полным вниманием. При контексте 128K его exp-free Top-k выбор в 5,1 раза быстрее `torch.topk`.
Ключевые моменты
- MiniMax представила MSA (MiniMax Sparse Attention) — метод разреженного внимания,построенный на…
- Он разделяет внимание на индексную и основную ветви: индексная ветвь на уровне блоков (по…
- MSA обучен на MoE-модели с 109B параметров
- открыто ядро инференса `fmha_sm100` для GPU NVIDIA SM100 (лицензия MIT,поддержка…
- MSA-PT показывает 67,2,77,7,64,0,84,2 и 77,5 на MMLU,GSM8K,HumanEval,RULER-8K и RULER-32K…
Кратко
- Опубликовано
- Обновлено
- Источник
- MarkTechPost(RSS)
- Категория
- Статьи и исследования
- Оценка ИИ
- 70
MiniMax 把长上下文注意力从 O(N) 压到固定每查询 2048 token,还同时开源高效内核与生产模型,对做长上下文 agent 的团队是即时可用的方法,遗憾是只限 SM100 GPU。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: MiniMax представила метод разреженного внимания MSA, открыла ядро инференса и выпустила модель MiniMax-M3. 17 июня 2026. https://new.nat6.net/ru/news/cmqhsdiv401zcslf08vuq50zc/