チュートリアル

Tencent HunyuanがUniRLを発表:統一マルチモーダル強化学習インフラ

原題:🚀Introducing UniRL, an RL infra for unified multimodal models. Together with two new RL algorithms:...

AI 要約

Tencent Hunyuanは、統一マルチモーダルモデルを支える強化学習インフラUniRLを発表し、新アルゴリズムDRPOとFlow-DPPOを公開した。UniRLは単一のポストトレーニングループ(生成→スコアリング→アドバンテージ→更新→同期)で、拡散/フローマッチングモデル、LLM/VLM、統一マルチモーダルモデル(Hunyuan-Image 3やBagelなど)をカバーする。モデルとアルゴリズムを独立した軸とすることで、モデル×アルゴリズムの組み合わせを網羅できる。フレームワークはプラグイン可能なrolloutエンジン(トレーニング側/SGLang/vLLM-Omni)、FSDP2シャーディング、3つのデプロイモードをサポートする。FlowDPPOはフロー/拡散モデル向けに正確なダイバージェンスに基づく信頼領域ポリシー最適化を導入し、DRPOはLLM RL向けに滑らかなアドバンテージ重み付き二次正則化手法を提供する。コードはオープンソース化済み。

要点

  • Tencent Hunyuanは、統一マルチモーダルモデルを支える強化学習インフラUniRLを発表し、新アルゴリズムDRPOとFlow-DPPOを公開した。
  • UniRLは単一のポストトレーニングループ(生成→スコアリング→アドバンテージ→更新→同期)で、拡散/フローマッチングモデル、LLM/VLM、統一マルチモーダルモデル(Hunyuan-Image 3…
  • モデルとアルゴリズムを独立した軸とすることで、モデル×アルゴリズムの組み合わせを網羅できる。
  • フレームワークはプラグイン可能なrolloutエンジン(トレーニング側/SGLang/vLLM-Omni)、FSDP2シャーディング、3つのデプロイモードをサポートする。
  • FlowDPPOはフロー/拡散モデル向けに正確なダイバージェンスに基づく信頼領域ポリシー最適化を導入し、DRPOはLLM RL向けに滑らかなアドバンテージ重み付き二次正則化手法を提供する。

概要

公開日時
更新日時
出典
X:腾讯混元 (@TencentHunyuan)
カテゴリ
チュートリアル
AI スコア
67
原文を読む 情報源で全文を読む
おすすめの理由

UniRL把扩散和LLM的强化学习塞进同一个训练循环,外加两个新算法,多模态对齐的研究者可以立刻fork代码试起来。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:Tencent HunyuanがUniRLを発表:統一マルチモーダル強化学習インフラ。2026年6月9日。https://new.nat6.net/ja/news/cmq6kwvh809eesl5irgb0uzf2/

すべて見る →