inclusionAI ने उच्च-प्रदर्शन क्वांटाइज़्ड इन्फरेंस GEMM कर्नेल लाइब्रेरी Humming जारी की
मूल शीर्षक:inclusionAI/humming
AI सारांश
inclusionAI ने Humming को ओपन-सोर्स किया है, जो क्वांटाइज़्ड इन्फरेंस के लिए डिज़ाइन की गई एक उच्च-प्रदर्शन, हल्की जस्ट-इन-टाइम कंपाइल GEMM कर्नेल लाइब्रेरी है। यह FP16, BF16, FP8 सहित विभिन्न एक्टिवेशन डेटा प्रकारों के साथ 8-बिट से कम किसी भी वेट प्रकार पर इन्फरेंस का समर्थन करती है, विविध क्वांटाइज़ेशन रणनीतियों और स्केलिंग प्रकारों के साथ संगत है, तथा डेंस GEMM और मिक्सचर-ऑफ-एक्सपर्ट्स GEMM दोनों संचालनों का समर्थन करती है। यह लाइब्रेरी SM75+ और उससे ऊपर के सभी NVIDIA GPU के साथ संगत है और विविध कंप्यूटिंग परिदृश्यों में उद्योग-अग्रणी थ्रूपुट और दक्षता प्रदान करती है। इसकी निर्भरताएँ अत्यंत न्यूनतम हैं, केवल PyTorch और NVCC की आवश्यकता होती है, पैकेज का आकार लगभग 100 KB है, जिससे अति-हल्का डिप्लॉयमेंट संभव होता है।
मुख्य जानकारी
- inclusionAI ने Humming को ओपन-सोर्स किया है,जो क्वांटाइज़्ड इन्फरेंस के लिए डिज़ाइन की गई एक…
- तथा डेंस GEMM और मिक्सचर-ऑफ-एक्सपर्ट्स GEMM दोनों संचालनों का समर्थन करती है। यह लाइब्रेरी SM75+…
- केवल PyTorch और NVCC की आवश्यकता होती है,पैकेज का आकार लगभग 100 KB है,जिससे अति-हल्का डिप्लॉयमेंट…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- श्रेणी
- उत्पाद और ऐप्स
- AI स्कोर
- 61
蚂蚁 inclusionAI 开源了一个 100KB 级的量化 GEMM 库,支持从 INT1 到 FP8 全家桶,SM75+ 全覆盖,做推理部署的工程师值得花半小时跑一下 benchmark,看看能不能替换掉现有的 Marlin 方案。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: inclusionAI ने उच्च-प्रदर्शन क्वांटाइज़्ड इन्फरेंस GEMM कर्नेल लाइब्रेरी Humming जारी की। 11 फ़रवरी 2026। https://new.nat6.net/hi/news/cmorb7ik3006oslhfmf6g1irj/