DeepSeek-V4 Flash का रीइन्फोर्समेंट लर्निंग प्रशिक्षण AMD Instinct MI355X GPU पर Miles फ्रेमवर्क के साथ शुरू
मूल शीर्षक:News Bringing DeepSeek-V4 Flash RL Training to AMD Instinct MI355X GPUs with Miles DeepSeek-V4 RL is now supported in Miles on AMD Instinct™ MI355X GPUs with ROCm™! RL requires SGLang rollout and Megatron training to implement the same policy closely enough that token probabilities ... AMD & Miles Team
AI सारांश
DeepSeek-V4 Flash का रीइन्फोर्समेंट लर्निंग प्रशिक्षण अब AMD Instinct MI355X GPU पर Miles फ्रेमवर्क के ज़रिए समर्थित है, जो ROCm सॉफ़्टवेयर स्टैक पर चलता है। इस 2840 अरब पैरामीटर वाले MoE मॉडल (प्रति टोकन 130 अरब सक्रिय पैरामीटर) में rollout जनरेशन के लिए SGLang, पॉलिसी अपडेट के लिए Megatron और असिंक्रोनस लूप व वेट सिंक के लिए Miles की ज़रूरत होती है। टीम ने SGLang और Megatron के बीच मॉडल अलाइनमेंट, क्वांटाइज़्ड स्टेट के ऑनलाइन अपडेट और मल्टी-नोड समांतर स्थिरता की तीन चुनौतियों का समाधान किया, और अंत में चार आठ-GPU नोड्स पर एंड-टू-एंड सत्यापन पूरा किया: 100 से अधिक ऑप्टिमाइज़र स्टेप्स में प्रशिक्षण-rollout लॉग प्रोबेबिलिटी अंतर नियंत्रित रहा, ऑनलाइन रिवॉर्ड लगातार बढ़ता रहा और ऑफ़लाइन AIME-2024 बेंचमार्क स्कोर भी साथ-साथ बढ़ा।
मुख्य जानकारी
- DeepSeek-V4 Flash का रीइन्फोर्समेंट लर्निंग प्रशिक्षण अब AMD Instinct MI355X GPU पर Miles…
- पॉलिसी अपडेट के लिए Megatron और असिंक्रोनस लूप व वेट सिंक के लिए Miles की ज़रूरत होती है। टीम ने…
- क्वांटाइज़्ड स्टेट के ऑनलाइन अपडेट और मल्टी-नोड समांतर स्थिरता की तीन चुनौतियों का समाधान किया,और…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- LMSYS Blog
- श्रेणी
- पेपर और शोध
- AI स्कोर
- 61
把 DeepSeek-V4 Flash 的 RL 训练完整搬到 AMD MI355X 上,不是画饼,而是给了实测数据和可跑的配置。想用非 NVIDIA 卡做 RL 训练的,可以照着踩坑。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: DeepSeek-V4 Flash का रीइन्फोर्समेंट लर्निंग प्रशिक्षण AMD Instinct MI355X GPU पर Miles फ्रेमवर्क के साथ शुरू। 10 जुलाई 2026। https://new.nat6.net/hi/news/cmrf7a5kg000wihpr80vvnaxn/