论文与研究

秒级更新万亿参数——大规模分布式强化学习中的点对点权重传输技术

原文标题:Blog Updating 1T parameters in seconds — P2P weight transfer in Large Scale Distributed RL We introduced a RDMA-based, Peer to Peer weight update mechanism for RL workloads in SGLang as a supplement to traditional NCCL broadcast methods, compatible with all major open source models. By util... Jiadong Guo, Xin Ji, Letian Ruan, Teng Ma, Chenyang Zhao, Yueming Yuan, Zhichen Zeng April 29, 2026

AI 摘要

LMSYS团队针对SGLang中的强化学习工作负载,提出了一种基于RDMA的点对点权重更新机制,作为传统NCCL广播方法的补充。该设计利用源端CPU引擎副本和Mooncake TransferEngine进行P2P RDMA传输,将拥有1T参数的Kimi-K2模型的权重传输时间从53秒大幅缩短至7.2秒,提速7倍。其代价是每个训练等级需在CPU内存中额外占用一个32G的推理引擎副本。此优化最大限度地减少了网络冗余,允许推理服务器更快恢复rollout过程,且兼容所有主流开源模型。

关键信息

  • LMSYS团队针对SGLang中的强化学习工作负载,提出了一种基于RDMA的点对点权重更新机制,作为传统NCCL广播方法的补充。
  • 该设计利用源端CPU引擎副本和Mooncake TransferEngine进行P2P RDMA传输,将拥有1T参数的Kimi-K2模型的权重传输时间从53秒大幅缩短至7.
  • 2秒,提速7倍。
  • 其代价是每个训练等级需在CPU内存中额外占用一个32G的推理引擎副本。
  • 此优化最大限度地减少了网络冗余,允许推理服务器更快恢复rollout过程,且兼容所有主流开源模型

速览

发布时间
更新时间
来源
LMSYS Blog
分类
论文与研究
AI 评分
74
阅读原文 前往信息源阅读完整正文
推荐理由

LMSYS 把分布式 RL 训练的权重同步从 NCCL 广播改成 RDMA P2P,1T 参数模型传输快了 7 倍,做大规模 RL infra 的团队该认真看看这个工程方案。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:秒级更新万亿参数——大规模分布式强化学习中的点对点权重传输技术。2026年4月29日。https://new.nat6.net/news/cmokelt5u014nsl4fegroemhe/

查看全部 →
  • 使用BioMysteryBench评估Claude的生物信息学研究能力

    Anthropic团队开发了BioMysteryBench生物信息学基准测试,用于评估Claude在分析真实数据集、解决开放式研究问题上的能力。测试发现,Claude的生物学科学能力正快速迭代,当前模型表现已与人类专家相当,最新模型甚至解…

    Anthropic:Research(发表成果 · 网页)论文与研究AI 评分 63

  • 用户如何向Claude寻求个人生活指导及其模型优化

    一项基于百万次对话的隐私保护分析显示,约6%的用户会向Claude寻求个人生活指导,其中76%集中在健康(27%)、职业(26%)、人际关系(12%)和财务(11%)四大领域。研究重点关注了模型回应中的“谄媚行为”(过度认同用户),发现总…

    Anthropic:Research(发表成果 · 网页)论文与研究AI 评分 68

  • FlashQLA: 面向GDN的CP-/Bwd友好型融合线性注意力内核

    FlashQLA 发布了一组专为梯度下降网络优化的融合线性注意力内核。新内核在设计上对计算模式和后向传播更加友好,旨在提升训练效率。该技术通过优化内核融合策略,改进了注意力机制的计算性能,是提升大规模模型训练速度的关键底层优化。

    Qwen:Blog Retrieval(API)论文与研究AI 评分 57

  • STARFlow-V:基于标准化流的端到端视频生成建模

    研究团队提出了基于标准化流的视频生成模型STARFlow-V,旨在应对视频生成领域长期由扩散模型主导的局面。该模型具备端到端学习、鲁棒的因果预测和原生似然估计等优势,能够直接处理连续数据并建模复杂的时空动态。这一工作标志着标准化流在图像生…

    Apple Machine Learning Research(RSS)论文与研究AI 评分 63

  • Adaptive Ultrasound Imaging with Physics-Informed NV-Raw2Insights-US AI

    NVIDIA 在 Hugging Face 上发布了一款名为 NV-Raw2Insights-US 的物理信息人工智能模型,专门用于自适应超声成像。该模型能够直接处理原始超声射频数据,实时生成高质量的诊断图像。它通过结合物理定律与深度学习…

    Hugging Face 社区博客(混合发现)论文与研究AI 评分 58

  • 无需人类同步监督的智能体操作自动审查机制

    一项名为“自动审查”的新机制为代码智能体的部署提供了更安全的默认方案。该机制通过一个独立的审查智能体,对主智能体可能越界的操作进行异步的批准或拒绝,从而无需人类进行实时同步监督。这种方法旨在提升自主智能体在代码生成与执行过程中的安全性与可…

    OpenAI:Alignment 研究博客(RSS)论文与研究AI 评分 66