Latihan pembelajaran pengukuhan DeepSeek-V4 Flash kini disokong pada GPU AMD Instinct MI355X melalui rangka kerja Miles
Tajuk asal:News Bringing DeepSeek-V4 Flash RL Training to AMD Instinct MI355X GPUs with Miles DeepSeek-V4 RL is now supported in Miles on AMD Instinct™ MI355X GPUs with ROCm™! RL requires SGLang rollout and Megatron training to implement the same policy closely enough that token probabilities ... AMD & Miles Team
Ringkasan AI
Latihan pembelajaran pengukuhan DeepSeek-V4 Flash kini disokong pada GPU AMD Instinct MI355X melalui rangka kerja Miles, berjalan di atas timbunan perisian ROCm. Model MoE 284 bilion parameter ini (130 bilion parameter diaktifkan setiap token) memerlukan SGLang untuk penjanaan rollout, Megatron untuk kemas kini dasar, dan Miles mengendalikan gelung tak segerak serta penyegerakan pemberat. Pasukan ini menyelesaikan tiga cabaran utama: penjajaran model antara SGLang dan Megatron, kemas kini dalam talian keadaan kuantisasi, dan kestabilan selari berbilang nod. Akhirnya, pengesahan hujung ke hujung diselesaikan pada empat nod lapan GPU: dalam lebih 100 langkah pengoptimum, perbezaan log kebarangkalian latihan-rollout kekal terkawal, ganjaran dalam talian terus meningkat, dan skor penanda aras AIME-2024 luar talian turut meningkat.
Maklumat penting
- Latihan pembelajaran pengukuhan DeepSeek-V4 Flash kini disokong pada GPU AMD Instinct MI355X…
- Model MoE 284 bilion parameter ini (130 bilion parameter diaktifkan setiap token) memerlukan…
- Pasukan ini menyelesaikan tiga cabaran utama: penjajaran model antara SGLang dan Megatron,kemas…
- Akhirnya,pengesahan hujung ke hujung diselesaikan pada empat nod lapan GPU: dalam lebih 100…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- LMSYS Blog
- Kategori
- Kertas penyelidikan
- Skor AI
- 61
把 DeepSeek-V4 Flash 的 RL 训练完整搬到 AMD MI355X 上,不是画饼,而是给了实测数据和可跑的配置。想用非 NVIDIA 卡做 RL 训练的,可以照着踩坑。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Latihan pembelajaran pengukuhan DeepSeek-V4 Flash kini disokong pada GPU AMD Instinct MI355X melalui rangka kerja Miles. 10 Julai 2026. https://new.nat6.net/ms/news/cmrf7a5kg000wihpr80vvnaxn/