教程与技巧

腾讯混元发布UniRL:统一多模态强化学习基础设施

原文标题:🚀Introducing UniRL, an RL infra for unified multimodal models. Together with two new RL algorithms:...

AI 摘要

腾讯混元推出UniRL,一个支持统一多模态模型的强化学习基础设施,并发布两个新算法DRPO和Flow-DPPO。UniRL通过单个后训练循环(生成→评分→优势→更新→同步)覆盖扩散/流匹配模型、LLM/VLM及统一多模态模型(如Hunyuan-Image 3和Bagel)。模型与算法作为独立轴,可实现模型×算法的组合覆盖。框架支持可插拔rollout引擎(训练侧/SGLang/vLLM-Omni)、FSDP2分片和三种部署模式。FlowDPPO针对流/扩散模型引入基于精确散度的信任域策略优化;DRPO为LLM RL提供平滑的优势加权二次正则化方法。代码已开源。

关键信息

  • 腾讯混元推出UniRL,一个支持统一多模态模型的强化学习基础设施,并发布两个新算法DRPO和Flow-DPPO。
  • UniRL通过单个后训练循环(生成→评分→优势→更新→同步)覆盖扩散/流匹配模型、LLM/VLM及统一多模态模型(如Hunyuan-Image 3和Bagel)。
  • 模型与算法作为独立轴,可实现模型×算法的组合覆盖。
  • 框架支持可插拔rollout引擎(训练侧/SGLang/vLLM-Omni)、FSDP2分片和三种部署模式。
  • FlowDPPO针对流/扩散模型引入基于精确散度的信任域策略优化

速览

发布时间
更新时间
来源
X:腾讯混元 (@TencentHunyuan)
分类
教程与技巧
AI 评分
67
阅读原文 前往信息源阅读完整正文
推荐理由

UniRL把扩散和LLM的强化学习塞进同一个训练循环,外加两个新算法,多模态对齐的研究者可以立刻fork代码试起来。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:腾讯混元发布UniRL:统一多模态强化学习基础设施。2026年6月9日。https://new.nat6.net/news/cmq6kwvh809eesl5irgb0uzf2/

查看全部 →