シャオミ、制御可能な動画効果音生成モデル ControlFoley をオープンソース化、音を「思い通りに」
AI 要約
シャオミの大規模モデルアプリケーションチームは、オープンソースの制御可能な動画効果音生成モデル ControlFoley を発表した。創作における制御性の課題を解決することを目的としている。このモデルは、テキストガイドによる動画吹き替え、テキスト制御による動画吹き替え、参照音声制御による動画吹き替えの 3 種類のタスクを統一的にサポートする。ControlFoley は VGGSound-Test など複数のベンチマークでオープンソース SOTA の性能を達成し、コード、モデル重み、オンライン Demo がすべて公開されている。
要点
- シャオミの大規模モデルアプリケーションチームは、オープンソースの制御可能な動画効果音生成モデル ControlFoley を発表した。
- 創作における制御性の課題を解決することを目的としている。
- このモデルは、テキストガイドによる動画吹き替え、テキスト制御による動画吹き替え、参照音声制御による動画吹き替えの 3 種類のタスクを統一的にサポートする。
- ControlFoley は VGGSound-Test など複数のベンチマークでオープンソース SOTA の性能を達成し、コード、モデル重み、オンライン Demo がすべて公開されている
概要
おすすめの理由
小米开源的 ControlFoley 把视频音效生成从“看画面配声音”推进到“按意图来”,开源 SOTA 且直接提供 Skill,做视频创作的可以上手试试。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:シャオミ、制御可能な動画効果音生成モデル ControlFoley をオープンソース化、音を「思い通りに」。2026年5月29日。https://new.nat6.net/ja/news/cmpqppxpf075oslno4jxz0h8b/