पेपर और शोध

Google TPU पर 3 गुना तेज़ी: UCSD ने डिफ्यूज़न-आधारित स्पेक्युलेटिव डिकोडिंग से LLM अनुमान को अनुकूलित किया

मूल शीर्षक:Supercharging LLM inference on Google TPUs: Achieving 3X speedups with diffusion-style speculative decoding

AI सारांश

कैलिफोर्निया विश्वविद्यालय सैन डिएगो की शोध टीम ने Google TPU पर DFlash सफलतापूर्वक तैनात किया, जो ब्लॉक डिफ्यूज़न आधारित स्पेक्युलेटिव डिकोडिंग विधि है। यह विधि पारंपरिक ऑटोरिग्रेसिव ड्राफ्ट जनरेशन की अनुक्रमिक बाधा को तोड़ती है और एकल फॉरवर्ड पास में पूरे उम्मीदवार token ब्लॉक को समानांतर रूप से 'चित्रित' करती है, न कि एक-एक करके भविष्यवाणी करती है। सिस्टम ने औसतन 3.13 गुना अनुमान त्वरण प्राप्त किया, और शिखर प्रदर्शन EAGLE-3 जैसी मौजूदा विधियों के लगभग दोगुना तक पहुंचा। यह ओपन-सोर्स समाधान vLLM पारिस्थितिकी तंत्र में एकीकृत है और 'मुफ्त' समानांतर सत्यापन क्षमता तथा जटिल तर्क कार्यों के लिए उच्च-गुणवत्ता ड्राफ्ट भविष्यवाणी का उपयोग करके TPU हार्डवेयर की उपयोग दक्षता को उल्लेखनीय रूप से अनुकूलित करता है।

मुख्य जानकारी

  • कैलिफोर्निया विश्वविद्यालय सैन डिएगो की शोध टीम ने Google TPU पर DFlash सफलतापूर्वक तैनात किया,जो…
  • न कि एक-एक करके भविष्यवाणी करती है। सिस्टम ने औसतन 3.
  • 13 गुना अनुमान त्वरण प्राप्त किया,और शिखर प्रदर्शन EAGLE-3 जैसी मौजूदा विधियों के लगभग दोगुना तक…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
Google Developers Blog(RSS)
श्रेणी
पेपर और शोध
AI स्कोर
66
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

把扩散式的 speculative decoding 在 TPU 上跑出了 3 倍推理加速,峰值快到 EAGLE-3 的两倍,还直接集成了 vLLM,做推理优化的赶紧试一下。

संबंधित एंटिटी

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: Google TPU पर 3 गुना तेज़ी: UCSD ने डिफ्यूज़न-आधारित स्पेक्युलेटिव डिकोडिंग से LLM अनुमान को अनुकूलित किया। 4 मई 2026। https://new.nat6.net/hi/news/cmorfwui900bbslahbt29u50b/

सभी देखें →