ट्यूटोरियल और टिप्स

vLLM ने DeepSeek-V4.1-Flash ऑप्टिमाइज़ेशन का विवरण दिया: एआई एजेंट परिदृश्यों में थ्रूपुट 5 गुना बढ़ा

मूल शीर्षक:DeepSeek-V4.1-Flash on vLLM: 5x Agentic Throughput Since Day 0

AI सारांश

Inferact और vLLM कम्युनिटी ने DeepSeek-V4.1-Flash के रिलीज़ के तीन सप्ताह के भीतर ऑप्टिमाइज़ेशन पूरा कर लिया है, जिससे कम कंकरेंसी पर गति 1.9 गुना और 150 TPS की बाधा के तहत थ्रूपुट 5.3 गुना बढ़ गया है।

मुख्य जानकारी

  • Inferact और vLLM कम्युनिटी ने DeepSeek-V4.
  • 1-Flash के रिलीज़ के तीन सप्ताह के भीतर ऑप्टिमाइज़ेशन पूरा कर लिया है,जिससे कम कंकरेंसी पर गति 1.
  • 9 गुना और 150 TPS की बाधा के तहत थ्रूपुट 5.
  • 3 गुना बढ़ गया है।

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
vLLM 官方博客(RSS)
श्रेणी
ट्यूटोरियल और टिप्स
विषय
डिप्लॉयमेंट इंजीनियरिंगट्यूटोरियल और अभ्यास
AI स्कोर
63
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

vLLM 团队拆解了 SWA bounded replay 和一系列内核优化,说明五倍吞吐提升具体来自哪里,方法可复用于其他 Agent 服务场景。

संबंधित विषय

संबंधित एंटिटी

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: vLLM ने DeepSeek-V4.1-Flash ऑप्टिमाइज़ेशन का विवरण दिया: एआई एजेंट परिदृश्यों में थ्रूपुट 5 गुना बढ़ा। 7 अक्टूबर 2026। https://new.nat6.net/hi/news/h8ldh8orhiz1tbad38w4e6cpn/

सभी देखें →