Tencent Hunyuan ने Stem स्पार्स अटेंशन एल्गोरिदम प्रस्तुत किया, ICML 2026 में स्वीकृत
मूल शीर्षक:首字延迟降低3.6倍,腾讯混元提出Stem稀疏注意力算法,长文推理加速新SOTA
AI सारांश
Stem एल्गोरिदम Token Position Decay (TPD) और Output-Aware Metric (OAM) नवाचारों के माध्यम से केवल 25% कंप्यूट का उपयोग करके घने अटेंशन की सटीकता के करीब पहुंचता है। साथ में HPC ऑपरेटर Hopper आर्किटेक्चर के लिए अनुकूलित है, FP8 क्वांटाइजेशन और vLLM के Paged KV Cache का समर्थन करता है, और Hunyuan Hy3 preview पर पहले टोकन की विलंबता 3.6 गुना कम करता है। HPC-BSA, MIT-BSA की तुलना में लगभग 3 गुना गति स्थिर रूप से बनाए रखता है, और 8K से 256K अनुक्रम लंबाई पर समान प्रदर्शन करता है।
मुख्य जानकारी
- Stem एल्गोरिदम Token Position Decay (TPD) और Output-Aware Metric (OAM) नवाचारों के माध्यम से केवल…
- FP8 क्वांटाइजेशन और vLLM के Paged KV Cache का समर्थन करता है,और Hunyuan Hy3 preview पर पहले टोकन…
- 6 गुना कम करता है। HPC-BSA,MIT-BSA की तुलना में लगभग 3 गुना गति स्थिर रूप से बनाए रखता है,और 8K से…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- 公众号:腾讯混元
- श्रेणी
- पेपर और शोध
- AI स्कोर
- 62
把稀疏注意力从一刀切升级成按信息流分配预算,算子在Hopper上把理论加速几乎无损转化,3.6倍首字延迟下降不是灌水——做长上下文应用的值得照着开源代码试。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: Tencent Hunyuan ने Stem स्पार्स अटेंशन एल्गोरिदम प्रस्तुत किया, ICML 2026 में स्वीकृत। 5 जून 2026। https://new.nat6.net/hi/news/cmq2o71l001iisl6n8ljx5jbt/