ट्यूटोरियल और टिप्स

Baseten इंजीनियरों का परीक्षण: LLM द्वारा जनरेटेड इंफरेंस इंजन vLLM से 90% तक तेज़

मूल शीर्षक:Agentic inference optimization: 50-90% faster engines

AI सारांश

Baseten के इंजीनियरों ने MetaInfer पेपर का उपयोग करते हुए Claude Code (Fable 5) के माध्यम से Qwen-3.6-35B-A3B (NVFP4, सिंगल B200) के लिए VibeQwen इंफरेंस इंजन बनाया। सिंगल-स्ट्रीम डिकोडिंग vLLM 0.25.1 की तुलना में 90% तेज़ है, पहला टोकन 28ms से घटकर 12ms हो गया है, और 32 की कॉनकरेंसी पर थ्रूपुट 71% अधिक है।

मुख्य जानकारी

  • Baseten के इंजीनियरों ने MetaInfer पेपर का उपयोग करते हुए Claude Code (Fable 5) के माध्यम से Qwen-3.
  • 6-35B-A3B (NVFP4,सिंगल B200) के लिए VibeQwen इंफरेंस इंजन बनाया। सिंगल-स्ट्रीम डिकोडिंग vLLM 0.
  • 1 की तुलना में 90% तेज़ है,पहला टोकन 28ms से घटकर 12ms हो गया है,और 32 की कॉनकरेंसी पर थ्रूपुट 71%…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
Baseten 工程博客(网页)
श्रेणी
ट्यूटोरियल और टिप्स
विषय
डिप्लॉयमेंट इंजीनियरिंग
AI स्कोर
64
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

作者亲测用智能体生成定制推理引擎,给出了相对 vLLM 的具体性能数据和成本,可帮助读者评估自动优化的实际可行性。

संबंधित विषय

संबंधित एंटिटी

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: Baseten इंजीनियरों का परीक्षण: LLM द्वारा जनरेटेड इंफरेंस इंजन vLLM से 90% तक तेज़। 3 अक्टूबर 2026। https://new.nat6.net/hi/news/uwm1ml1igd8k2u81g14uf8pc3/

सभी देखें →