निरंतर बैचिंग में असिंक्रोनसता को अनलॉक करना
मूल शीर्षक:Unlocking asynchronicity in continuous batching
AI सारांश
निरंतर बैचिंग में, सिंक्रोनस तरीका CPU और GPU को बारी-बारी से काम करने पर मजबूर करता है, जिससे निष्क्रियता की बर्बादी होती है। परीक्षणों से पता चलता है कि 8B मॉडल से 8K टोकन उत्पन्न करते समय GPU 24% समय निष्क्रिय रहता है। असिंक्रोनस बैचिंग कार्यभार को अलग करके CPU को अगला बैच (N+1) तैयार करने देती है, जबकि GPU वर्तमान बैच (N) की गणना करता है, जिससे निष्क्रियता की खाई समाप्त होती है। यह CUDA स्ट्रीम के माध्यम से संचालन समवर्तीता प्राप्त कर सकता है, बिना कर्नेल या मॉडल बदले, केवल हार्डवेयर निष्पादन क्रम का समन्वय आवश्यक है। सैद्धांतिक रूप से, यह विधि कुल उत्पादन समय को 300.6 सेकंड से घटाकर 228 सेकंड कर सकती है, जिससे 24% मुफ्त गति मिलती है। संबंधित तकनीक को transformers लाइब्रेरी की निरंतर बैचिंग में एकीकृत किया गया है, जिससे अनुमान प्रदर्शन में उल्लेखनीय सुधार होता है।
मुख्य जानकारी
- निरंतर बैचिंग में,सिंक्रोनस तरीका CPU और GPU को बारी-बारी से काम करने पर मजबूर करता है,जिससे…
- जबकि GPU वर्तमान बैच (N) की गणना करता है,जिससे निष्क्रियता की खाई समाप्त होती है। यह CUDA स्ट्रीम…
- 6 सेकंड से घटाकर 228 सेकंड कर सकती है,जिससे 24% मुफ्त गति मिलती है। संबंधित तकनीक को transformers…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- Hugging Face 社区博客(混合发现)
- श्रेणी
- ट्यूटोरियल और टिप्स
- AI स्कोर
- 59
文章手把手拆解了异步批处理如何用CUDA流和事件消除CPU与GPU的互相等待,把推理吞吐提升22%,搞推理优化的工程师值得细读。
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: निरंतर बैचिंग में असिंक्रोनसता को अनलॉक करना। 14 मई 2026। https://new.nat6.net/hi/news/cmp5lopxg0fafsljxgkro5pka/