DFlash: ब्लॉक डिफ्यूजन ड्राफ्ट मॉडल ने 15 गुना तक थ्रूपुट वृद्धि हासिल की
मूल शीर्षक:DFlash Speculative Decoding Drafts Whole Token Blocks in Parallel for Up to 15x Higher Throughput on NVIDIA Blackwell
AI सारांश
UC San Diego द्वारा पेश किया गया DFlash, सट्टा डिकोडिंग के लिए एक हल्का ब्लॉक डिफ्यूजन ड्राफ्ट मॉडल है। यह एक बार के फॉरवर्ड तर्क में टोकन ब्लॉक उत्पन्न करता है, जिसे टारगेट मॉडल द्वारा समानांतर में सत्यापित किया जाता है। EAGLE-3 की तुलना में, DFlash 2.5 गुना तक तेज है और Qwen3-8B जैसे मॉडलों पर औसतन 6 गुना से अधिक की हानि-रहित गति प्रदान करता है। NVIDIA Blackwell (TensorRT-LLM) पर, gpt-oss-120b मॉडल का थ्रूपुट 15 गुना तक बढ़ गया है। इसका मुख्य नवाचार ड्राफ्ट मॉडल की प्रत्येक परत में टारगेट मॉडल की छिपी हुई विशेषताओं को इंजेक्ट करना है।
मुख्य जानकारी
- UC San Diego द्वारा पेश किया गया DFlash,सट्टा डिकोडिंग के लिए एक हल्का ब्लॉक डिफ्यूजन ड्राफ्ट मॉडल…
- 5 गुना तक तेज है और Qwen3-8B जैसे मॉडलों पर औसतन 6 गुना से अधिक की हानि-रहित गति प्रदान करता है।…
- gpt-oss-120b मॉडल का थ्रूपुट 15 गुना तक बढ़ गया है। इसका मुख्य नवाचार ड्राफ्ट मॉडल की प्रत्येक परत…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- MarkTechPost(RSS)
- श्रेणी
- पेपर और शोध
- AI स्कोर
- 74
DFlash把扩散模型引入推测解码草案阶段,一次并行生成整块token,单流加速最高6倍,NVIDIA实测吞吐量提升15倍,推理成本下降幅度很大,部署大模型的团队可以立刻关注。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: DFlash: ब्लॉक डिफ्यूजन ड्राफ्ट मॉडल ने 15 गुना तक थ्रूपुट वृद्धि हासिल की। 24 जून 2026। https://new.nat6.net/hi/news/cmqrrgnay0n08slp5phvdk394/