उत्पाद और ऐप्स

SGLang में DSpark स्पेक्युलेटिव डिकोडिंग एकीकृत: विश्वास-संचालित परिवर्तनीय-लंबाई सत्यापन

मूल शीर्षक:Blog DSpark in SGLang: Speculative Decoding with Confidence-Driven, Variable-Length Verification Speculative decoding trades extra compute for fewer decode steps, and the trade sours as load grows: at batch size B with K speculative tokens the target verifies B K tokens every step, and past a po... SGLang Team

AI सारांश

SGLang टीम ने DSpark स्पेक्युलेटिव डिकोडिंग एल्गोरिदम को ओपन-सोर्स इन्फरेंस इंजन में एकीकृत किया। यह एल्गोरिदम अर्ध-ऑटोरेग्रेसिव ब्लॉक ड्राफ्टर का उपयोग करके एक बार में tokens का एक समूह उत्पन्न करता है, और विश्वास हेड तथा अनुक्रमिक तापमान स्केलिंग (STS) का उपयोग करके प्रत्येक अनुरोध के लिए गतिशील रूप से परिवर्तनीय सत्यापन लंबाई आवंटित करता है, जिससे उच्च लोड के तहत अमान्य सत्यापन लागत कम होती है। SGLang घने मॉडल (जैसे Qwen3) और विरल मॉडल (जैसे DeepSeek-V4) का समर्थन करता है, और पूर्ण CUDA ग्राफ के माध्यम से प्रत्येक अनुरोध की अनियमित सत्यापन लंबाई को संभालता है। तीन सत्यापन मोड प्रदान करता है: `static` (पूर्ण लंबाई), `compact` (उत्पादन पथ) और `cap-accept` (स्वीकृति सीमा माप)। इसमें शून्य-ओवरहेड शेड्यूलिंग, ऑफ़लाइन लागत तालिका आधारित ऑनलाइन शेड्यूलर, फ्यूज्ड Triton कर्नेल जैसे अनुकूलन भी शामिल किए गए हैं। H200 पर DeepSeek-V4-Flash के साथ परीक्षण में, DSpark ने पूरे समवर्ती स्कैन रेंज में MTP और गैर-स्पेक्युलेटिव बेसलाइन की तुलना में बेहतर थ्रूपुट-विलंबता संतुलन प्राप्त किया।

मुख्य जानकारी

  • SGLang टीम ने DSpark स्पेक्युलेटिव डिकोडिंग एल्गोरिदम को ओपन-सोर्स इन्फरेंस इंजन में एकीकृत किया।…
  • जिससे उच्च लोड के तहत अमान्य सत्यापन लागत कम होती है। SGLang घने मॉडल (जैसे Qwen3) और विरल मॉडल…
  • `compact` (उत्पादन पथ) और `cap-accept` (स्वीकृति सीमा माप)। इसमें शून्य-ओवरहेड शेड्यूलिंग,ऑफ़लाइन…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
LMSYS Blog
श्रेणी
उत्पाद और ऐप्स
AI स्कोर
63
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

DSpark 这版推测解码的工程落地比论文本身更有看头——SGLang 用 ragged CUDA Graph 和动态调度把 trimm 掉的计算按字节级回收,383 tok/s 的单请求速度对部署方是即时可用的性能增益。

संबंधित एंटिटी

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: SGLang में DSpark स्पेक्युलेटिव डिकोडिंग एकीकृत: विश्वास-संचालित परिवर्तनीय-लंबाई सत्यापन। 6 जुलाई 2026। https://new.nat6.net/hi/news/cmr9h98co0470slsmqqc2ilv1/

सभी देखें →