Tencent HunyuanがUniRLを発表:統一マルチモーダル強化学習インフラ
原題:🚀Introducing UniRL, an RL infra for unified multimodal models. Together with two new RL algorithms:...
AI 要約
Tencent Hunyuanは、統一マルチモーダルモデルを支える強化学習インフラUniRLを発表し、新アルゴリズムDRPOとFlow-DPPOを公開した。UniRLは単一のポストトレーニングループ(生成→スコアリング→アドバンテージ→更新→同期)で、拡散/フローマッチングモデル、LLM/VLM、統一マルチモーダルモデル(Hunyuan-Image 3やBagelなど)をカバーする。モデルとアルゴリズムを独立した軸とすることで、モデル×アルゴリズムの組み合わせを網羅できる。フレームワークはプラグイン可能なrolloutエンジン(トレーニング側/SGLang/vLLM-Omni)、FSDP2シャーディング、3つのデプロイモードをサポートする。FlowDPPOはフロー/拡散モデル向けに正確なダイバージェンスに基づく信頼領域ポリシー最適化を導入し、DRPOはLLM RL向けに滑らかなアドバンテージ重み付き二次正則化手法を提供する。コードはオープンソース化済み。
要点
- Tencent Hunyuanは、統一マルチモーダルモデルを支える強化学習インフラUniRLを発表し、新アルゴリズムDRPOとFlow-DPPOを公開した。
- UniRLは単一のポストトレーニングループ(生成→スコアリング→アドバンテージ→更新→同期)で、拡散/フローマッチングモデル、LLM/VLM、統一マルチモーダルモデル(Hunyuan-Image 3…
- モデルとアルゴリズムを独立した軸とすることで、モデル×アルゴリズムの組み合わせを網羅できる。
- フレームワークはプラグイン可能なrolloutエンジン(トレーニング側/SGLang/vLLM-Omni)、FSDP2シャーディング、3つのデプロイモードをサポートする。
- FlowDPPOはフロー/拡散モデル向けに正確なダイバージェンスに基づく信頼領域ポリシー最適化を導入し、DRPOはLLM RL向けに滑らかなアドバンテージ重み付き二次正則化手法を提供する。
概要
- 公開日時
- 更新日時
- カテゴリ
- チュートリアル
- AI スコア
- 67
UniRL把扩散和LLM的强化学习塞进同一个训练循环,外加两个新算法,多模态对齐的研究者可以立刻fork代码试起来。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:Tencent HunyuanがUniRLを発表:統一マルチモーダル強化学習インフラ。2026年6月9日。https://new.nat6.net/ja/news/cmq6kwvh809eesl5irgb0uzf2/