Artículos e investigación

Actualización de un billón de parámetros en segundos: transmisión de pesos punto a punto en aprendizaje por refuerzo distribuido a gran escala

Título original:Blog Updating 1T parameters in seconds — P2P weight transfer in Large Scale Distributed RL We introduced a RDMA-based, Peer to Peer weight update mechanism for RL workloads in SGLang as a supplement to traditional NCCL broadcast methods, compatible with all major open source models. By util... Jiadong Guo, Xin Ji, Letian Ruan, Teng Ma, Chenyang Zhao, Yueming Yuan, Zhichen Zeng April 29, 2026

Resumen de IA

Para las cargas de trabajo de aprendizaje por refuerzo en SGLang, el equipo de LMSYS propuso un mecanismo de actualización de pesos punto a punto basado en RDMA como complemento al método tradicional de difusión NCCL. El diseño utiliza copias del motor de CPU en el origen y Mooncake TransferEngine para la transmisión P2P por RDMA, lo que reduce el tiempo de transmisión de pesos del modelo Kimi-K2, de 1T de parámetros, de 53 segundos a 7,2 segundos, una mejora de 7 veces. El coste es una copia adicional de 32G del motor de inferencia en la memoria de CPU por cada nivel de entrenamiento. Esta optimización minimiza la redundancia de red, permite que los servidores de inferencia reanuden antes el proceso de rollout y es compatible con todos los principales modelos de código abierto.

Puntos clave

  • Para las cargas de trabajo de aprendizaje por refuerzo en SGLang,el equipo de LMSYS propuso un…
  • El diseño utiliza copias del motor de CPU en el origen y Mooncake TransferEngine para la…
  • El coste es una copia adicional de 32G del motor de inferencia en la memoria de CPU por cada nivel…
  • Esta optimización minimiza la redundancia de red,permite que los servidores de inferencia reanuden…

Resumen rápido

Publicado
Actualizado
Fuente
LMSYS Blog
Categoría
Artículos e investigación
Puntuación IA
74
Leer el original Leer el artículo completo en la fuente original
Por qué importa

LMSYS 把分布式 RL 训练的权重同步从 NCCL 广播改成 RDMA P2P,1T 参数模型传输快了 7 倍,做大规模 RL infra 的团队该认真看看这个工程方案。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Actualización de un billón de parámetros en segundos: transmisión de pesos punto a punto en aprendizaje por refuerzo distribuido a gran escala. 29. abril 2026. https://new.nat6.net/es/news/cmokelt5u014nsl4fegroemhe/

Ver todo →