El entrenamiento por refuerzo de DeepSeek-V4 Flash llega a las GPU AMD Instinct MI355X con el framework Miles
Título original:News Bringing DeepSeek-V4 Flash RL Training to AMD Instinct MI355X GPUs with Miles DeepSeek-V4 RL is now supported in Miles on AMD Instinct™ MI355X GPUs with ROCm™! RL requires SGLang rollout and Megatron training to implement the same policy closely enough that token probabilities ... AMD & Miles Team
Resumen de IA
El entrenamiento por refuerzo de DeepSeek-V4 Flash ya es compatible con las GPU AMD Instinct MI355X a través del framework Miles, sobre la pila de software ROCm. Este modelo MoE de 284.000 millones de parámetros (130.000 millones activados por token) requiere SGLang para la generación de rollout, Megatron para la actualización de políticas y Miles para el bucle asíncrono y la sincronización de pesos. El equipo resolvió tres grandes retos: la alineación del modelo entre SGLang y Megatron, la actualización en línea del estado de cuantización y la estabilidad del paralelismo multinodo. Finalmente completó la validación de extremo a extremo en cuatro nodos de ocho GPU: a lo largo de más de 100 pasos del optimizador, la diferencia de log-probabilidad entre entrenamiento y rollout se mantuvo controlada, la recompensa en línea mejoró de forma sostenida y la puntuación de referencia offline AIME-2024 aumentó en paralelo.
Puntos clave
- El entrenamiento por refuerzo de DeepSeek-V4 Flash ya es compatible con las GPU AMD Instinct…
- Este modelo MoE de 284.
- 000 millones de parámetros (130.
- 000 millones activados por token) requiere SGLang para la generación de rollout,Megatron para la…
- El equipo resolvió tres grandes retos: la alineación del modelo entre SGLang y Megatron,la…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- LMSYS Blog
- Categoría
- Artículos e investigación
- Puntuación IA
- 61
把 DeepSeek-V4 Flash 的 RL 训练完整搬到 AMD MI355X 上,不是画饼,而是给了实测数据和可跑的配置。想用非 NVIDIA 卡做 RL 训练的,可以照着踩坑。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: El entrenamiento por refuerzo de DeepSeek-V4 Flash llega a las GPU AMD Instinct MI355X con el framework Miles. 10. julio 2026. https://new.nat6.net/es/news/cmrf7a5kg000wihpr80vvnaxn/