ट्यूटोरियल और टिप्स

TRL में Delta Weight Sync जोड़ा गया: Hub Bucket के माध्यम से वेट परिवर्तन स्थानांतरित, प्रति चरण 1.2 GB से घटकर 20–35 MB

मूल शीर्षक:Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL

AI सारांश

अतुल्यकालिक रीइन्फोर्समेंट लर्निंग में, ट्रेनर को प्रत्येक चरण में पूर्ण मॉडल वेट (जैसे 1T पैरामीटर चेकपॉइंट लगभग 1 TB) अनुमान इंजन को स्थानांतरित करने की आवश्यकता होती है। TRL ने एक नया PR जोड़ा है जो आसन्न RL अनुकूलन चरणों के बीच लगभग 99% bf16 वेट बिट्स के समान होने की विशेषता का उपयोग करता है, केवल बदले हुए वेट को विरल safetensors फ़ाइल के रूप में एन्कोड करता है, उन्हें Hugging Face Bucket पर अपलोड करता है और vLLM को प्राप्त करने के लिए सूचित करता है। Qwen3-0.6B पर, प्रति चरण स्थानांतरण 1.2 GB से घटकर 20–35 MB हो गया। प्रयोग में पूरी तरह से अलग प्रशिक्षण परिदृश्य भी प्रदर्शित किया गया: ट्रेनर, vLLM और Wordle वातावरण अलग-अलग मशीनों और Hugging Face Space में स्थित थे, वेट एकल Hub bucket के माध्यम से प्रवाहित होते थे, साझा क्लस्टर, RDMA या VPN की आवश्यकता नहीं थी।

मुख्य जानकारी

  • अतुल्यकालिक रीइन्फोर्समेंट लर्निंग में,ट्रेनर को प्रत्येक चरण में पूर्ण मॉडल वेट (जैसे 1T पैरामीटर…
  • 6B पर,प्रति चरण स्थानांतरण 1.
  • 2 GB से घटकर 20–35 MB हो गया। प्रयोग में पूरी तरह से अलग प्रशिक्षण परिदृश्य भी प्रदर्शित किया गया:…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
Hugging Face 社区博客(混合发现)
श्रेणी
ट्यूटोरियल और टिप्स
AI स्कोर
61
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

异步RL训练中权重同步的瓶颈被HuggingFace用稀疏增量方案解决了,带宽直接省了两个数量级,还给了可运行的TRL分支,做RL训练的可以直接上手试。

संबंधित एंटिटी

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: TRL में Delta Weight Sync जोड़ा गया: Hub Bucket के माध्यम से वेट परिवर्तन स्थानांतरित, प्रति चरण 1.2 GB से घटकर 20–35 MB। 27 मई 2026। https://new.nat6.net/hi/news/cmpo5j5lm034mslv4qv9h13v8/

सभी देखें →