पेपर और शोध

MiniMax ने MSA स्पार्स अटेंशन विधि जारी की, इन्फरेंस कर्नेल ओपन-सोर्स किया और MiniMax-M3 मॉडल पेश किया

मूल शीर्षक:MiniMax Sparse Attention (MSA): a Two-Branch Block-Sparse Attention Trained on a 109B-Parameter MoE With a 3T-Token Budget

AI सारांश

MiniMax ने MSA (MiniMax Sparse Attention) जारी की, जो Grouped Query Attention पर आधारित एक स्पार्स अटेंशन विधि है। यह अटेंशन को इंडेक्स ब्रांच और मुख्य ब्रांच में विभाजित करती है: इंडेक्स ब्रांच ब्लॉक ग्रैन्युलैरिटी (डिफ़ॉल्ट 128 token) पर प्रत्येक GQA समूह के लिए 16 token ब्लॉक चुनती है (निश्चित बजट 2048 की-वैल्यू token), और मुख्य ब्रांच केवल इन ब्लॉकों पर सटीक softmax अटेंशन चलाती है। MSA को 109B पैरामीटर वाले MoE मॉडल पर प्रशिक्षित किया गया, NVIDIA SM100 GPU के लिए इन्फरेंस कर्नेल `fmha_sm100` ओपन-सोर्स किया गया (MIT लाइसेंस, BF16/FP8/NVFP4/FP4 समर्थन), और प्रोडक्शन मॉडल MiniMax-M3 जारी किया गया। MSA-PT ने MMLU, GSM8K, HumanEval, RULER-8K, RULER-32K पर क्रमशः 67.2, 77.7, 64.0, 84.2, 77.5 स्कोर किया, जो पूर्ण अटेंशन बेसलाइन के बराबर है। 128K कॉन्टेक्स्ट में इसका exp-free Top-k चयन `torch.topk` से 5.1 गुना तेज़ है।

मुख्य जानकारी

  • MiniMax ने MSA (MiniMax Sparse Attention) जारी की,जो Grouped Query Attention पर आधारित एक स्पार्स…
  • 5 स्कोर किया,जो पूर्ण अटेंशन बेसलाइन के बराबर है। 128K कॉन्टेक्स्ट में इसका exp-free Top-k चयन…
  • topk` से 5.
  • 1 गुना तेज़ है।

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
MarkTechPost(RSS)
श्रेणी
पेपर और शोध
AI स्कोर
70
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

MiniMax 把长上下文注意力从 O(N) 压到固定每查询 2048 token,还同时开源高效内核与生产模型,对做长上下文 agent 的团队是即时可用的方法,遗憾是只限 SM100 GPU。

संबंधित एंटिटी

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: MiniMax ने MSA स्पार्स अटेंशन विधि जारी की, इन्फरेंस कर्नेल ओपन-सोर्स किया और MiniMax-M3 मॉडल पेश किया। 17 जून 2026। https://new.nat6.net/hi/news/cmqhsdiv401zcslf08vuq50zc/

सभी देखें →