Туториалы и советы

TRL добавил Delta Weight Sync: передача изменений весов через Hub Bucket снижает объём с 1,2 ГБ до 20–35 МБ на шаг

Оригинальный заголовок:Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL

ИИ-резюме

В асинхронном обучении с подкреплением тренер на каждом шаге должен передавать движку инференса полные веса модели (например, чекпоинт с 1T параметров — около 1 ТБ). Новый PR в TRL использует тот факт, что около 99% битов весов bf16 совпадают между соседними шагами RL-оптимизации, и кодирует только изменённые веса в разреженный файл safetensors, загружает его в Hugging Face Bucket и уведомляет vLLM о необходимости получить его. На Qwen3-0.6B объём передачи на шаг снизился с 1,2 ГБ до 20–35 МБ. Эксперимент также продемонстрировал полностью разделённый сценарий обучения: тренер, vLLM и среда Wordle находятся на разных машинах и в разных Hugging Face Space, а веса передаются через один Hub bucket без необходимости в общем кластере, RDMA или VPN.

Ключевые моменты

  • В асинхронном обучении с подкреплением тренер на каждом шаге должен передавать движку инференса…
  • Новый PR в TRL использует тот факт,что около 99% битов весов bf16 совпадают между соседними шагами…
  • На Qwen3-0.
  • 6B объём передачи на шаг снизился с 1,2 ГБ до 20–35 МБ.
  • Эксперимент также продемонстрировал полностью разделённый сценарий обучения: тренер,vLLM и среда…

Кратко

Опубликовано
Обновлено
Источник
Hugging Face 社区博客(混合发现)
Категория
Туториалы и советы
Оценка ИИ
61
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

异步RL训练中权重同步的瓶颈被HuggingFace用稀疏增量方案解决了,带宽直接省了两个数量级,还给了可运行的TRL分支,做RL训练的可以直接上手试。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: TRL добавил Delta Weight Sync: передача изменений весов через Hub Bucket снижает объём с 1,2 ГБ до 20–35 МБ на шаг. 27 мая 2026. https://new.nat6.net/ru/news/cmpo5j5lm034mslv4qv9h13v8/

Смотреть все →