warp decode के माध्यम से MoE मॉडल अनुमान दक्षता बढ़ाएं
मूल शीर्षक:Better MoE model inference with warp decode
AI सारांश
Blackwell GPU पर छोटे बैच डिकोडिंग के लिए, शोध ने "warp decode" नामक एक नई विधि प्रस्तावित की है। यह विधि पारंपरिक विशेषज्ञ-केंद्रित गणना पथ को उलट देती है, प्रत्येक GPU warp को एक आउटपुट न्यूरॉन की गणना करने की जिम्मेदारी देती है। यह मूलभूत परिवर्तन मूल प्रक्रिया में पांच शुद्ध डेटा प्रबंधन "बुककीपिंग" चरणों को समाप्त करता है, पूरे MoE गणना परत को केवल दो कर्नेल में संपीड़ित करता है। इसका लाभ पैडिंग, स्कैटर और इंटरमीडिएट बफर के पढ़ने-लिखने से बचना है, और warp स्वतंत्रता के माध्यम से बेहतर शेड्यूलिंग प्राप्त करना है। Blackwell GPU पर, इस विधि ने 1.84 गुना थ्रूपुट सुधार प्राप्त किया, साथ ही आउटपुट सटीकता अधिक है, पूर्ण FP32 संदर्भ मान से अंतर 1.4 गुना कम हुआ, मॉडल अनुसंधान और विकास प्रक्रिया को प्रभावी ढंग से तेज किया।
मुख्य जानकारी
- Blackwell GPU पर छोटे बैच डिकोडिंग के लिए,शोध ने "warp decode" नामक एक नई विधि प्रस्तावित की है।…
- 84 गुना थ्रूपुट सुधार प्राप्त किया,साथ ही आउटपुट सटीकता अधिक है,पूर्ण FP32 संदर्भ मान से अंतर 1.
- 4 गुना कम हुआ,मॉडल अनुसंधान और विकास प्रक्रिया को प्रभावी ढंग से तेज किया।
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- Cursor Blog
- श्रेणी
- पेपर और शोध
- AI स्कोर
- 66
Cursor 把 MoE 推理的并行轴从专家翻转到输出神经元,Blackwell 上吞吐涨 1.84 倍还顺带提精度,这种同时赢性能和精度的内核优化极其罕见,做推理引擎的值得逐行读。
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: warp decode के माध्यम से MoE मॉडल अनुमान दक्षता बढ़ाएं। 6 अप्रैल 2026। https://new.nat6.net/hi/news/cmosbbgu40075slojjfiqhvmm/