MiniMax Merilis Metode Attention Sparse MSA, Membuka Kernel Inferensi, dan Meluncurkan Model MiniMax-M3
Judul asli:MiniMax Sparse Attention (MSA): a Two-Branch Block-Sparse Attention Trained on a 109B-Parameter MoE With a 3T-Token Budget
Ringkasan AI
MiniMax merilis MSA (MiniMax Sparse Attention), metode attention sparse yang dibangun di atas Grouped Query Attention. Metode ini menguraikan attention menjadi cabang indeks dan cabang utama: cabang indeks memilih 16 blok token untuk setiap grup GQA pada granularitas blok (default 128 token) dengan anggaran tetap 2048 token key-value, sedangkan cabang utama hanya menjalankan attention softmax presisi pada blok-blok tersebut. MSA dilatih pada model MoE 109B parameter, membuka kernel inferensi `fmha_sm100` untuk GPU NVIDIA SM100 (lisensi MIT, mendukung BF16/FP8/NVFP4/FP4), dan merilis model produksi MiniMax-M3. MSA-PT mencapai 67,2, 77,7, 64,0, 84,2, dan 77,5 pada MMLU, GSM8K, HumanEval, RULER-8K, dan RULER-32K, setara dengan baseline attention penuh. Pada konteks 128K, pemilihan Top-k exp-free-nya 5,1 kali lebih cepat daripada `torch.topk`.
Poin utama
- MiniMax merilis MSA (MiniMax Sparse Attention),metode attention sparse yang dibangun di atas…
- Metode ini menguraikan attention menjadi cabang indeks dan cabang utama: cabang indeks memilih 16…
- MSA dilatih pada model MoE 109B parameter,membuka kernel inferensi `fmha_sm100` untuk GPU NVIDIA…
- MSA-PT mencapai 67,2,77,7,64,0,84,2,dan 77,5 pada MMLU,GSM8K,HumanEval,RULER-8K,dan…
- Pada konteks 128K,pemilihan Top-k exp-free-nya 5,1 kali lebih cepat daripada `torch.
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- MarkTechPost(RSS)
- Kategori
- Makalah & Riset
- Skor AI
- 70
MiniMax 把长上下文注意力从 O(N) 压到固定每查询 2048 token,还同时开源高效内核与生产模型,对做长上下文 agent 的团队是即时可用的方法,遗憾是只限 SM100 GPU。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: MiniMax Merilis Metode Attention Sparse MSA, Membuka Kernel Inferensi, dan Meluncurkan Model MiniMax-M3. 17 Juni 2026. https://new.nat6.net/id/news/cmqhsdiv401zcslf08vuq50zc/