教程与技巧

TRL 新增 Delta Weight Sync:通过 Hub Bucket 传输权重变化,每步从 1.2 GB 降至 20–35 MB

原文标题:Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL

AI 摘要

异步强化学习中,训练器每步需将完整模型权重(如1T参数checkpoint约1 TB)传输给推理引擎。TRL新增PR利用相邻RL优化步骤间约99%的bf16权重比特相同的特点,仅将变化的权重编码为稀疏safetensors文件,上传至Hugging Face Bucket并通知vLLM获取。在Qwen3-0.6B上,每步传输从1.2 GB降至20–35 MB。实验还展示了完全分离的训练场景:训练器、vLLM和Wordle环境分别位于不同机器和Hugging Face Space中,权重通过单个Hub bucket流动,无需共享集群、RDMA或VPN。

关键信息

  • 异步强化学习中,训练器每步需将完整模型权重(如1T参数checkpoint约1 TB)传输给推理引擎。
  • TRL新增PR利用相邻RL优化步骤间约99%的bf16权重比特相同的特点,仅将变化的权重编码为稀疏safetensors文件,上传至Hugging Face Bucket并通知vLLM获取。
  • 在Qwen3-0.
  • 6B上,每步传输从1.
  • 2 GB降至20–35 MB。

速览

发布时间
更新时间
来源
Hugging Face 社区博客(混合发现)
分类
教程与技巧
AI 评分
61
阅读原文 前往信息源阅读完整正文
推荐理由

异步RL训练中权重同步的瓶颈被HuggingFace用稀疏增量方案解决了,带宽直接省了两个数量级,还给了可运行的TRL分支,做RL训练的可以直接上手试。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:TRL 新增 Delta Weight Sync:通过 Hub Bucket 传输权重变化,每步从 1.2 GB 降至 20–35 MB。2026年5月27日。https://new.nat6.net/news/cmpo5j5lm034mslv4qv9h13v8/

查看全部 →
  • Reachy Mini 实现完全本地化语音交互

    Reachy Mini 机器人现可通过 `speech-to-speech` 库实现完全本地化的语音交互,无需依赖云端。该方案采用级联流水线架构,对外提供 Realtime API 兼容的 WebSocket 接口。默认组件包括 Sile…

    Hugging Face 社区博客(混合发现)教程与技巧AI 评分 72

  • 从0到1速通OpenAI Codex:安装、设置与实操教程

    近日OpenAI的AI智能体Codex热度飙升。教程涵盖完整使用流程:从官网下载安装,支持从Claude Code和Cowork一键导入配置;界面分对话区和项目区,权限可选默认、自动审查或完全访问;模型推荐GPT-5.5,推理等级用高或超…

    公众号:数字生命卡兹克教程与技巧AI 评分 65

  • Gemini Omni 视频提示词使用指南

    Google 发布了其多模态模型 Gemini Omni 的视频生成功能使用指南。该模型可通过 Gemini 应用、Google Flow 等平台体验。指南包含五项提示词技巧:利用模型已有的现实世界知识进行简洁描述;精确控制文本在视频中的…

    X:Google AI (@GoogleAI)教程与技巧AI 评分 75

  • 使用 Codex 构建自改进税务智能体

    OpenAI、Thrive 与 Crete 合作,使用 Codex 构建了一个自改进的税务智能体。该智能体能够自动处理报税流程,提升工作准确性并加速整体工作流。

    OpenAI:官网动态(RSS · 排除企业/客户案例)教程与技巧AI 评分 56