DeepSeek-V4 Flash reinforcement learning training sumampa sa AMD Instinct MI355X GPU, sinusuportahan ng Miles framework
Orihinal na pamagat:News Bringing DeepSeek-V4 Flash RL Training to AMD Instinct MI355X GPUs with Miles DeepSeek-V4 RL is now supported in Miles on AMD Instinct™ MI355X GPUs with ROCm™! RL requires SGLang rollout and Megatron training to implement the same policy closely enough that token probabilities ... AMD & Miles Team
AI summary
Ang reinforcement learning training ng DeepSeek-V4 Flash ay sinusuportahan na ngayon sa AMD Instinct MI355X GPU sa pamamagitan ng Miles framework, na tumatakbo sa ROCm software stack. Ang 284-bilyong-parameter na MoE model (130 bilyong parameter na aktibo bawat token) ay nangangailangan ng SGLang para sa rollout generation at Megatron para sa policy update, habang ang Miles ang namamahala sa asynchronous loop at weight synchronization. Niresolba ng team ang tatlong malaking hamon: model alignment sa pagitan ng SGLang at Megatron, online update ng quantized state, at stability ng multi-node parallelism. Sa huli, nakumpleto ang end-to-end validation sa apat na eight-GPU node: sa mahigit 100 optimizer steps, kontrolado ang training-rollout log probability difference, patuloy na tumataas ang online reward, at sabay na tumataas ang offline AIME-2024 benchmark score.
Mahahalagang impormasyon
- Ang reinforcement learning training ng DeepSeek-V4 Flash ay sinusuportahan na ngayon sa AMD…
- Ang 284-bilyong-parameter na MoE model (130 bilyong parameter na aktibo bawat token) ay…
- Niresolba ng team ang tatlong malaking hamon: model alignment sa pagitan ng SGLang at…
- Sa huli,nakumpleto ang end-to-end validation sa apat na eight-GPU node: sa mahigit 100 optimizer…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- LMSYS Blog
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 61
把 DeepSeek-V4 Flash 的 RL 训练完整搬到 AMD MI355X 上,不是画饼,而是给了实测数据和可跑的配置。想用非 NVIDIA 卡做 RL 训练的,可以照着踩坑。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: DeepSeek-V4 Flash reinforcement learning training sumampa sa AMD Instinct MI355X GPU, sinusuportahan ng Miles framework. 10 Hulyo 2026. https://new.nat6.net/fil/news/cmrf7a5kg000wihpr80vvnaxn/