ट्यूटोरियल और टिप्स

Cohere ने North Mini Code के मेगा-कर्नेल इनफरेंस इंजन का विवरण दिया, जो एकल H100 पर vLLM से 1.25–1.41 गुना तेज़ है

मूल शीर्षक:Inside the megakernel serving engine for North Mini Code

AI सारांश

Cohere ने North Mini Code के लिए डिकोड मेगा-कर्नेल पर आधारित इनफरेंस इंजन जारी किया है। BF16 के तहत, एकल H100 पर एंड-टू-एंड डिकोड थ्रूपुट vLLM की तुलना में 1.25–1.41 गुना तेज़ है। बैच साइज़ 1 पर यह 292 tok/s (SoL का 62%) तक पहुँचता है, और कोड GitHub पर उपलब्ध है।

मुख्य जानकारी

  • Cohere ने North Mini Code के लिए डिकोड मेगा-कर्नेल पर आधारित इनफरेंस इंजन जारी किया है। BF16 के तहत
  • एकल H100 पर एंड-टू-एंड डिकोड थ्रूपुट vLLM की तुलना में 1.
  • 41 गुना तेज़ है। बैच साइज़ 1 पर यह 292 tok/s (SoL का 62%) तक पहुँचता है,और कोड GitHub पर उपलब्ध है।

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
Cohere Labs:官方研究博客
श्रेणी
ट्यूटोरियल और टिप्स
AI स्कोर
68
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

原文给出手写 decode megakernel 的完整实现细节与真实吞吐数据,读者可以了解如何把现有内核组装成单个持久内核并接入真实服务。

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: Cohere ने North Mini Code के मेगा-कर्नेल इनफरेंस इंजन का विवरण दिया, जो एकल H100 पर vLLM से 1.25–1.41 गुना तेज़ है। 8 सितंबर 2026। https://new.nat6.net/hi/news/gpw1qeypdu4lyt3u0ijp5m2s5/

सभी देखें →