Pelatihan reinforcement learning DeepSeek-V4 Flash hadir di GPU AMD Instinct MI355X, didukung framework Miles
Judul asli:News Bringing DeepSeek-V4 Flash RL Training to AMD Instinct MI355X GPUs with Miles DeepSeek-V4 RL is now supported in Miles on AMD Instinct™ MI355X GPUs with ROCm™! RL requires SGLang rollout and Megatron training to implement the same policy closely enough that token probabilities ... AMD & Miles Team
Ringkasan AI
Pelatihan reinforcement learning DeepSeek-V4 Flash kini didukung di GPU AMD Instinct MI355X melalui framework Miles, berjalan di atas tumpukan perangkat lunak ROCm. Model MoE dengan 284 miliar parameter ini (130 miliar parameter aktif per token) memerlukan SGLang untuk generasi rollout dan Megatron untuk pembaruan kebijakan, dengan Miles menangani loop asinkron dan sinkronisasi bobot. Tim mengatasi tiga tantangan utama: penyelarasan model antara SGLang dan Megatron, pembaruan status kuantisasi secara online, serta stabilitas paralel multi-node. Verifikasi end-to-end akhirnya diselesaikan pada empat node dengan delapan GPU: selama lebih dari 100 langkah optimizer, selisih log-probabilitas pelatihan-rollout tetap terkendali, reward online terus meningkat, dan skor benchmark offline AIME-2024 ikut naik.
Poin utama
- Pelatihan reinforcement learning DeepSeek-V4 Flash kini didukung di GPU AMD Instinct MI355X…
- Model MoE dengan 284 miliar parameter ini (130 miliar parameter aktif per token) memerlukan SGLang…
- Tim mengatasi tiga tantangan utama: penyelarasan model antara SGLang dan Megatron,pembaruan status…
- Verifikasi end-to-end akhirnya diselesaikan pada empat node dengan delapan GPU: selama lebih dari…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- LMSYS Blog
- Kategori
- Makalah & Riset
- Skor AI
- 61
把 DeepSeek-V4 Flash 的 RL 训练完整搬到 AMD MI355X 上,不是画饼,而是给了实测数据和可跑的配置。想用非 NVIDIA 卡做 RL 训练的,可以照着踩坑。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Pelatihan reinforcement learning DeepSeek-V4 Flash hadir di GPU AMD Instinct MI355X, didukung framework Miles. 10 Juli 2026. https://new.nat6.net/id/news/cmrf7a5kg000wihpr80vvnaxn/