튜토리얼 및 팁

텐센트 혼위안, UniRL 공개: 통합 멀티모달 강화학습 인프라

원제목:🚀Introducing UniRL, an RL infra for unified multimodal models. Together with two new RL algorithms:...

AI 요약

텐센트 혼위안이 통합 멀티모달 모델을 지원하는 강화학습 인프라 UniRL을 출시하고 두 가지 새 알고리즘 DRPO와 Flow-DPPO를 공개했다. UniRL은 단일 후훈련 루프(생성→평가→어드밴티지→업데이트→동기화)로 확산/플로 매칭 모델, LLM/VLM 및 통합 멀티모달 모델(Hunyuan-Image 3, Bagel 등)을 포괄한다. 모델과 알고리즘을 독립 축으로 두어 모델×알고리즘 조합을 지원한다. 프레임워크는 플러그형 rollout 엔진(훈련 측/SGLang/vLLM-Omni), FSDP2 샤딩, 세 가지 배포 모드를 지원한다. FlowDPPO는 플로/확산 모델에 정확한 발산 기반 신뢰 영역 정책 최적화를 도입했고, DRPO는 LLM RL에 매끄러운 어드밴티지 가중 이차 정규화 방법을 제공한다. 코드는 오픈소스로 공개됐다.

핵심 정보

  • 텐센트 혼위안이 통합 멀티모달 모델을 지원하는 강화학습 인프라 UniRL을 출시하고 두 가지 새 알고리즘 DRPO와 Flow-DPPO를 공개했다.
  • UniRL은 단일 후훈련 루프(생성→평가→어드밴티지→업데이트→동기화)로 확산/플로 매칭 모델,LLM/VLM 및 통합 멀티모달 모델(Hunyuan-Image 3,Bagel 등)을…
  • 모델과 알고리즘을 독립 축으로 두어 모델×알고리즘 조합을 지원한다.
  • 프레임워크는 플러그형 rollout 엔진(훈련 측/SGLang/vLLM-Omni),FSDP2 샤딩,세 가지 배포 모드를 지원한다.
  • FlowDPPO는 플로/확산 모델에 정확한 발산 기반 신뢰 영역 정책 최적화를 도입했고,DRPO는 LLM RL에 매끄러운 어드밴티지 가중 이차 정규화 방법을 제공한다.

한눈에 보기

게시
업데이트
출처
X:腾讯混元 (@TencentHunyuan)
카테고리
튜토리얼 및 팁
AI 점수
67
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

UniRL把扩散和LLM的强化学习塞进同一个训练循环,外加两个新算法,多模态对齐的研究者可以立刻fork代码试起来。

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: 텐센트 혼위안, UniRL 공개: 통합 멀티모달 강화학습 인프라. 2026년 6월 9일. https://new.nat6.net/ko/news/cmq6kwvh809eesl5irgb0uzf2/

전체 보기 →