Articles et recherche

Mise à jour de mille milliards de paramètres en quelques secondes — transmission de poids pair à pair dans l'apprentissage par renforcement distribué à grande échelle

Titre original:Blog Updating 1T parameters in seconds — P2P weight transfer in Large Scale Distributed RL We introduced a RDMA-based, Peer to Peer weight update mechanism for RL workloads in SGLang as a supplement to traditional NCCL broadcast methods, compatible with all major open source models. By util... Jiadong Guo, Xin Ji, Letian Ruan, Teng Ma, Chenyang Zhao, Yueming Yuan, Zhichen Zeng April 29, 2026

Résumé IA

Pour les charges de travail d'apprentissage par renforcement dans SGLang, l'équipe LMSYS propose un mécanisme de mise à jour des poids pair à pair basé sur RDMA, complémentaire à la méthode de diffusion NCCL traditionnelle. Cette conception utilise une copie du moteur CPU côté source et Mooncake TransferEngine pour le transfert RDMA P2P, réduisant le temps de transmission des poids du modèle Kimi-K2 à 1T de paramètres de 53 secondes à 7,2 secondes, soit un gain de vitesse de 7 fois. Le coût est une copie supplémentaire de 32 Go du moteur d'inférence en mémoire CPU pour chaque rang d'entraînement. Cette optimisation minimise la redondance réseau, permet aux serveurs d'inférence de reprendre plus rapidement le processus de rollout et reste compatible avec tous les principaux modèles open source.

Points clés

  • Pour les charges de travail d'apprentissage par renforcement dans SGLang,l'équipe LMSYS propose un…
  • Cette conception utilise une copie du moteur CPU côté source et Mooncake TransferEngine pour le…
  • Le coût est une copie supplémentaire de 32 Go du moteur d'inférence en mémoire CPU pour chaque…
  • Cette optimisation minimise la redondance réseau,permet aux serveurs d'inférence de reprendre plus…

En bref

Publié
Mis à jour
Source
LMSYS Blog
Catégorie
Articles et recherche
Score IA
74
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

LMSYS 把分布式 RL 训练的权重同步从 NCCL 广播改成 RDMA P2P,1T 参数模型传输快了 7 倍,做大规模 RL infra 的团队该认真看看这个工程方案。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Mise à jour de mille milliards de paramètres en quelques secondes — transmission de poids pair à pair dans l'apprentissage par renforcement distribué à grande échelle. 29. avril 2026. https://new.nat6.net/fr/news/cmokelt5u014nsl4fegroemhe/

Tout voir →