vLLM V0 से V1: ऑनलाइन रीइन्फोर्समेंट लर्निंग में बैकएंड व्यवहार की शुद्धता को प्राथमिकता
मूल शीर्षक:vLLM V0 to V1: Correctness Before Corrections in RL
AI सारांश
vLLM के 0.8.5 से 0.18.1 तक के बड़े पुनर्लेखन के बाद, ऑनलाइन रीइन्फोर्समेंट लर्निंग प्रशिक्षण परिणामों को V0 संदर्भ रन के अनुरूप सुनिश्चित करने के लिए, टीम ने RL लक्ष्यों को समायोजित करने के बजाय बैकएंड व्यवहार को ठीक करने को प्राथमिकता दी। प्रमुख सुधारों में शामिल हैं: सैंपलर वितरण से मेल खाने के लिए लॉग प्रोबेबिलिटी मोड को `processed_logprobs` पर सेट करना; V1-विशिष्ट प्रीफिक्स कैशिंग और एसिंक्रोनस शेड्यूलिंग जैसे रनटाइम डिफ़ॉल्ट को अक्षम करना; V0 के कैश-प्रतिधारण व्यवहार से मेल खाने के लिए वेट अपडेट पथ को समायोजित करना; और अंतिम प्रोजेक्शन के लिए rollout बैकएंड को fp32 सटीकता वाले `lm_head` का उपयोग सुनिश्चित करना। इन उपायों ने पॉलिसी अनुपात माध्य पूर्वाग्रह को समाप्त कर दिया, जिससे V1 KL डाइवर्जेंस, एंट्रॉपी और अन्य मेट्रिक्स पर V0 के साथ मेल खाता है।
मुख्य जानकारी
- vLLM के 0.
- 1 तक के बड़े पुनर्लेखन के बाद,ऑनलाइन रीइन्फोर्समेंट लर्निंग प्रशिक्षण परिणामों को V0 संदर्भ रन के…
- V1-विशिष्ट प्रीफिक्स कैशिंग और एसिंक्रोनस शेड्यूलिंग जैसे रनटाइम डिफ़ॉल्ट को अक्षम करना
- V0 के कैश-प्रतिधारण व्यवहार से मेल खाने के लिए वेट अपडेट पथ को समायोजित करना
- और अंतिम प्रोजेक्शन के लिए rollout बैकएंड को fp32 सटीकता वाले `lm_head` का उपयोग सुनिश्चित करना।…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- Hugging Face 社区博客(混合发现)
- श्रेणी
- ट्यूटोरियल और टिप्स
- AI स्कोर
- 65
vLLM V1迁移时踩的四个坑全在这里,从logprob语义到fp32投影头,修完才调RL目标,做在线RL的团队可以直接抄这份配置清单。
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: vLLM V0 से V1: ऑनलाइन रीइन्फोर्समेंट लर्निंग में बैकएंड व्यवहार की शुद्धता को प्राथमिकता। 7 मई 2026। https://new.nat6.net/hi/news/cmoug22sy00eeslbajec354qh/