Kertas penyelidikan

Latihan pembelajaran pengukuhan DeepSeek-V4 Flash kini disokong pada GPU AMD Instinct MI355X melalui rangka kerja Miles

Tajuk asal:News Bringing DeepSeek-V4 Flash RL Training to AMD Instinct MI355X GPUs with Miles DeepSeek-V4 RL is now supported in Miles on AMD Instinct™ MI355X GPUs with ROCm™! RL requires SGLang rollout and Megatron training to implement the same policy closely enough that token probabilities ... AMD & Miles Team

Ringkasan AI

Latihan pembelajaran pengukuhan DeepSeek-V4 Flash kini disokong pada GPU AMD Instinct MI355X melalui rangka kerja Miles, berjalan di atas timbunan perisian ROCm. Model MoE 284 bilion parameter ini (130 bilion parameter diaktifkan setiap token) memerlukan SGLang untuk penjanaan rollout, Megatron untuk kemas kini dasar, dan Miles mengendalikan gelung tak segerak serta penyegerakan pemberat. Pasukan ini menyelesaikan tiga cabaran utama: penjajaran model antara SGLang dan Megatron, kemas kini dalam talian keadaan kuantisasi, dan kestabilan selari berbilang nod. Akhirnya, pengesahan hujung ke hujung diselesaikan pada empat nod lapan GPU: dalam lebih 100 langkah pengoptimum, perbezaan log kebarangkalian latihan-rollout kekal terkawal, ganjaran dalam talian terus meningkat, dan skor penanda aras AIME-2024 luar talian turut meningkat.

Maklumat penting

  • Latihan pembelajaran pengukuhan DeepSeek-V4 Flash kini disokong pada GPU AMD Instinct MI355X…
  • Model MoE 284 bilion parameter ini (130 bilion parameter diaktifkan setiap token) memerlukan…
  • Pasukan ini menyelesaikan tiga cabaran utama: penjajaran model antara SGLang dan Megatron,kemas…
  • Akhirnya,pengesahan hujung ke hujung diselesaikan pada empat nod lapan GPU: dalam lebih 100…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
LMSYS Blog
Kategori
Kertas penyelidikan
Skor AI
61
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

把 DeepSeek-V4 Flash 的 RL 训练完整搬到 AMD MI355X 上,不是画饼,而是给了实测数据和可跑的配置。想用非 NVIDIA 卡做 RL 训练的,可以照着踩坑。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Latihan pembelajaran pengukuhan DeepSeek-V4 Flash kini disokong pada GPU AMD Instinct MI355X melalui rangka kerja Miles. 10 Julai 2026. https://new.nat6.net/ms/news/cmrf7a5kg000wihpr80vvnaxn/

Lihat Semua →