मॉडल लॉन्च

अगली पीढ़ी की स्पेक्युलेटिव डिकोडिंग: DFlash और Spec V2

मूल शीर्षक:Blog The next generation of speculative decoding: DFlash and Spec V2 Using Modal and Z Lab's DFlash speculative decoding models with SGLang’s newly default Spec V2 engine, you can achieve state-of-the-art latencies for LLM inference serving. Our new, jointly-released D... Z Lab, Modal, and SGLang Teams

AI सारांश

Z Lab, Modal और SGLang टीम ने संयुक्त रूप से DFlash स्पेक्युलेटिव डिकोडिंग मॉडल और SGLang का डिफ़ॉल्ट Spec V2 इंजन जारी किया। DFlash ब्लॉक डिफ्यूजन + KV इंजेक्शन का उपयोग करके पूरे ब्लॉक के draft token समानांतर रूप से उत्पन्न करता है; Qwen 3.5 397B-A17B (BF16) के HumanEval डेटासेट पर, कन्करेंसी 1 होने पर थ्रूपुट बेसलाइन का 4.3 गुना तक पहुँचता है

मुख्य जानकारी

  • Z Lab,Modal और SGLang टीम ने संयुक्त रूप से DFlash स्पेक्युलेटिव डिकोडिंग मॉडल और SGLang का…
  • 5 397B-A17B (BF16) के HumanEval डेटासेट पर,कन्करेंसी 1 होने पर थ्रूपुट बेसलाइन का 4.
  • 3 गुना तक पहुँचता है

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
LMSYS Blog
श्रेणी
मॉडल लॉन्च
AI स्कोर
67
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

DFlash 用并行起草和 KV 注入实现了实测 4.3 倍吞吐,再加上 SGLang Spec V2 引擎优化,推理加速不再是纸上谈兵。做 LLM 部署和推理服务的人,可以直接用这个组合试试。

संबंधित एंटिटी

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: अगली पीढ़ी की स्पेक्युलेटिव डिकोडिंग: DFlash और Spec V2। 15 जून 2026। https://new.nat6.net/hi/news/cmqfhhoq001hksl2aw53w2wz8/

सभी देखें →