MiniMax melancarkan kaedah perhatian jarang MSA, sumber terbuka kernel inferens dan model MiniMax-M3
Tajuk asal:MiniMax Sparse Attention (MSA): a Two-Branch Block-Sparse Attention Trained on a 109B-Parameter MoE With a 3T-Token Budget
Ringkasan AI
MiniMax melancarkan MSA (MiniMax Sparse Attention), kaedah perhatian jarang yang dibina atas Grouped Query Attention. Ia menguraikan perhatian kepada cabang indeks dan cabang utama: cabang indeks memilih 16 blok token bagi setiap kumpulan GQA pada granulariti blok (lalai 128 token) dengan bajet tetap 2048 token kunci-nilai, manakala cabang utama melaksanakan perhatian softmax tepat hanya pada blok tersebut. MSA dilatih pada model MoE 109B parameter, sumber terbuka kernel inferens `fmha_sm100` untuk GPU NVIDIA SM100 (lesen MIT, menyokong BF16/FP8/NVFP4/FP4), dan melancarkan model pengeluaran MiniMax-M3. MSA-PT mencapai 67.2, 77.7, 64.0, 84.2 dan 77.5 masing-masing pada MMLU, GSM8K, HumanEval, RULER-8K dan RULER-32K, setanding dengan garis dasar perhatian penuh. Pada konteks 128K, pemilihan Top-k tanpa exp 5.1 kali lebih pantas daripada `torch.topk`.
Maklumat penting
- MiniMax melancarkan MSA (MiniMax Sparse Attention),kaedah perhatian jarang yang dibina atas…
- Ia menguraikan perhatian kepada cabang indeks dan cabang utama: cabang indeks memilih 16 blok…
- MSA dilatih pada model MoE 109B parameter,sumber terbuka kernel inferens `fmha_sm100` untuk GPU…
- MSA-PT mencapai 67.
- 2 dan 77.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- MarkTechPost(RSS)
- Kategori
- Kertas penyelidikan
- Skor AI
- 70
MiniMax 把长上下文注意力从 O(N) 压到固定每查询 2048 token,还同时开源高效内核与生产模型,对做长上下文 agent 的团队是即时可用的方法,遗憾是只限 SM100 GPU。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: MiniMax melancarkan kaedah perhatian jarang MSA, sumber terbuka kernel inferens dan model MiniMax-M3. 17 Jun 2026. https://new.nat6.net/ms/news/cmqhsdiv401zcslf08vuq50zc/