स्वयं परखा: अविश्वसनीय तर्क गति
मूल शीर्षक:I had to test it myself to believe this unreal inference speed. 3,000 tokens/s for 1 user on standa...
AI सारांश
Kog टीम ने मानक डेटा सेंटर GPU पर अत्यधिक उच्च एकल-उपयोगकर्ता तर्क गति प्राप्त की—8× AMD MI300X GPUs पर 3,000 tokens/s और 8× NVIDIA H200 पर 2,100 tokens/s। सामान्य तर्क गति (लगभग 100-300 tokens/s) की तुलना में यह 10-30 गुना वृद्धि है। इसका मूल विचार LLM डिकोडिंग को मेमोरी स्ट्रीम समस्या मानना है; monokernel, पुनर्निर्मित सिंक्रोनाइज़ेशन तंत्र, लक्षित मेमोरी एक्सेस मैपिंग तथा विलंबित टेंसर पैरेललिज़्म वाली Laneformer मॉडल आर्किटेक्चर के सह-डिज़ाइन से पारंपरिक प्रक्रिया के अवरोधक बिंदु हटाए गए।
मुख्य जानकारी
- Kog टीम ने मानक डेटा सेंटर GPU पर अत्यधिक उच्च एकल-उपयोगकर्ता तर्क गति प्राप्त की—8× AMD MI300X…
- 000 tokens/s और 8× NVIDIA H200 पर 2,100 tokens/s। सामान्य तर्क गति (लगभग 100-300 tokens/s) की…
- monokernel,पुनर्निर्मित सिंक्रोनाइज़ेशन तंत्र,लक्षित मेमोरी एक्सेस मैपिंग तथा विलंबित टेंसर…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- श्रेणी
- विचार और समीक्षा
- AI स्कोर
- 76
Rohan亲自测完Kog AI的3000 token/s,把单用户推理速度拉高了10-30倍,这套monokernel设计可能改写低延迟推理的玩法,做实时AI产品的团队必须盯紧。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: स्वयं परखा: अविश्वसनीय तर्क गति। 30 मई 2026। https://new.nat6.net/hi/news/cmpr6nk7c0bf4slnok93x9vov/