모델 출시

샤오미, 제어 가능한 영상 음향효과 생성 모델 ControlFoley 오픈소스 공개

AI 요약

샤오미 대규모 모델 응용팀이 제어 가능한 영상 음향효과 생성 모델 ControlFoley를 오픈소스로 공개하며 창작 과정의 제어 가능성 문제를 해결하고자 했다. 이 모델은 텍스트 유도 영상 더빙, 텍스트 제어 영상 더빙, 참조 오디오 제어 영상 더빙 등 세 가지 작업을 통합 지원한다. ControlFoley는 VGGSound-Test 등 여러 벤치마크에서 오픈소스 SOTA 성능을 달성했으며 코드, 모델 가중치, 온라인 Demo가 모두 공개됐다.

핵심 정보

  • 샤오미 대규모 모델 응용팀이 제어 가능한 영상 음향효과 생성 모델 ControlFoley를 오픈소스로 공개하며 창작 과정의 제어 가능성 문제를 해결하고자 했다.
  • 이 모델은 텍스트 유도 영상 더빙,텍스트 제어 영상 더빙,참조 오디오 제어 영상 더빙 등 세 가지 작업을 통합 지원한다.
  • ControlFoley는 VGGSound-Test 등 여러 벤치마크에서 오픈소스 SOTA 성능을 달성했으며 코드,모델 가중치,온라인 Demo가 모두 공개됐다.

한눈에 보기

게시
업데이트
출처
IT之家·人工智能
카테고리
모델 출시
AI 점수
74
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

小米开源的 ControlFoley 把视频音效生成从“看画面配声音”推进到“按意图来”,开源 SOTA 且直接提供 Skill,做视频创作的可以上手试试。

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: 샤오미, 제어 가능한 영상 음향효과 생성 모델 ControlFoley 오픈소스 공개. 2026년 5월 29일. https://new.nat6.net/ko/news/cmpqppxpf075oslno4jxz0h8b/

전체 보기 →
  • Qwen-VLA: 세상을 이해하는 것에서 행동으로

    통이첸원이 범용 시각-언어-행동 모델 Qwen-VLA를 출시했다. Qwen 멀티모달 백본을 기반으로 시각 인식, 언어 이해, 공간 추론을 연속 행동 생성 및 궤적 예측으로 확장한다. 훈련은 텍스트-행동 사전…

    Qwen:Blog Retrieval(API)모델 출시AI 점수 66

  • ChatGPT, GPT-5.5 Instant 새 버전 출시

    ChatGPT에 GPT-5.5 instant 모델 추가: 오늘 GPT-5.5 instant의 새 버전을 출시했다. 이전 모델은 지나치게 '총알화'되어 있었다. 새 버전은 아첨성, 사실성, 다국어 성능 등 다른…

    X:Greg Brockman (@gdb)모델 출시AI 점수 69

  • Nano Banana Pro와 Nano Banana 2 정식 출시

    🍌 Nano Banana Pro [gemini-3-pro-image]와 Nano Banana 2 [gemini-3.1-flash-image]가 정식 출시되어 Gemini API를 통해 프로덕션에 사용할 수 있다.…

    X:Google AI for Developers (@googleaidevs)모델 출시AI 점수 71

  • xAI, Grok Build 0.1 공개 베타 출시

    grok-build-0.1이 이제 xAI API를 통해 공개 베타로 제공된다. Grok Build CLI를 구동하는 동일한 모델로, 에이전트 코딩에 뛰어나다. 가격은 입력 $1/m, 출력 $2/m로 매우…

    X:SpaceX Super Intelligence (@SpaceXSI)모델 출시AI 점수 73