TRL añade Delta Weight Sync: la transferencia de cambios de pesos mediante Hub Bucket se reduce de 1,2 GB a 20–35 MB por paso
Título original:Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL
Resumen de IA
En el aprendizaje por refuerzo asíncrono, el entrenador debe transferir en cada paso los pesos completos del modelo (por ejemplo, un checkpoint de 1T de parámetros de aproximadamente 1 TB) al motor de inferencia. Una nueva PR de TRL aprovecha que cerca del 99 % de los bits de pesos bf16 son idénticos entre pasos consecutivos de optimización RL, y codifica solo los pesos modificados en un archivo safetensors disperso, que se sube a Hugging Face Bucket y se notifica a vLLM para su obtención. En Qwen3-0.6B, la transferencia por paso se reduce de 1,2 GB a 20–35 MB. El experimento también muestra un escenario de entrenamiento completamente separado: el entrenador, vLLM y el entorno Wordle se encuentran en máquinas distintas y en Hugging Face Space, y los pesos fluyen a través de un único Hub bucket, sin necesidad de clúster compartido, RDMA ni VPN.
Puntos clave
- En el aprendizaje por refuerzo asíncrono,el entrenador debe transferir en cada paso los pesos…
- Una nueva PR de TRL aprovecha que cerca del 99 % de los bits de pesos bf16 son idénticos entre…
- En Qwen3-0.
- 6B,la transferencia por paso se reduce de 1,2 GB a 20–35 MB.
- El experimento también muestra un escenario de entrenamiento completamente separado: el…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- Hugging Face 社区博客(混合发现)
- Categoría
- Tutoriales y consejos
- Puntuación IA
- 61
异步RL训练中权重同步的瓶颈被HuggingFace用稀疏增量方案解决了,带宽直接省了两个数量级,还给了可运行的TRL分支,做RL训练的可以直接上手试。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: TRL añade Delta Weight Sync: la transferencia de cambios de pesos mediante Hub Bucket se reduce de 1,2 GB a 20–35 MB por paso. 27. mayo 2026. https://new.nat6.net/es/news/cmpo5j5lm034mslv4qv9h13v8/