Обучение с подкреплением DeepSeek-V4 Flash запущено на GPU AMD Instinct MI355X при поддержке фреймворка Miles
Оригинальный заголовок:News Bringing DeepSeek-V4 Flash RL Training to AMD Instinct MI355X GPUs with Miles DeepSeek-V4 RL is now supported in Miles on AMD Instinct™ MI355X GPUs with ROCm™! RL requires SGLang rollout and Megatron training to implement the same policy closely enough that token probabilities ... AMD & Miles Team
ИИ-резюме
Обучение с подкреплением DeepSeek-V4 Flash теперь поддерживается на GPU AMD Instinct MI355X через фреймворк Miles и работает на программном стеке ROCm. Модель MoE с 284 млрд параметров (130 млрд активируемых параметров на токен) требует SGLang для генерации rollout и Megatron для обновления политики, а Miles отвечает за асинхронный цикл и синхронизацию весов. Команда решила три ключевые задачи: согласование моделей между SGLang и Megatron, онлайн-обновление квантованного состояния и стабильность параллельной работы на нескольких узлах. В итоге сквозная проверка была выполнена на четырёх узлах по восемь GPU: на более чем 100 шагах оптимизатора разница логарифмических вероятностей между обучением и rollout оставалась контролируемой, онлайн-награда стабильно росла, а результаты офлайн-бенчмарка AIME-2024同步 росли.
Ключевые моменты
- Обучение с подкреплением DeepSeek-V4 Flash теперь поддерживается на GPU AMD Instinct MI355X через…
- Модель MoE с 284 млрд параметров (130 млрд активируемых параметров на токен) требует SGLang для…
- Команда решила три ключевые задачи: согласование моделей между SGLang и Megatron,онлайн-обновление…
- В итоге сквозная проверка была выполнена на четырёх узлах по восемь GPU: на более чем 100 шагах опт…
Кратко
- Опубликовано
- Обновлено
- Источник
- LMSYS Blog
- Категория
- Статьи и исследования
- Оценка ИИ
- 61
把 DeepSeek-V4 Flash 的 RL 训练完整搬到 AMD MI355X 上,不是画饼,而是给了实测数据和可跑的配置。想用非 NVIDIA 卡做 RL 训练的,可以照着踩坑。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Обучение с подкреплением DeepSeek-V4 Flash запущено на GPU AMD Instinct MI355X при поддержке фреймворка Miles. 10 июля 2026. https://new.nat6.net/ru/news/cmrf7a5kg000wihpr80vvnaxn/