モデル公開

シャオミ、制御可能な動画効果音生成モデル ControlFoley をオープンソース化、音を「思い通りに」

AI 要約

シャオミの大規模モデルアプリケーションチームは、オープンソースの制御可能な動画効果音生成モデル ControlFoley を発表した。創作における制御性の課題を解決することを目的としている。このモデルは、テキストガイドによる動画吹き替え、テキスト制御による動画吹き替え、参照音声制御による動画吹き替えの 3 種類のタスクを統一的にサポートする。ControlFoley は VGGSound-Test など複数のベンチマークでオープンソース SOTA の性能を達成し、コード、モデル重み、オンライン Demo がすべて公開されている。

要点

  • シャオミの大規模モデルアプリケーションチームは、オープンソースの制御可能な動画効果音生成モデル ControlFoley を発表した。
  • 創作における制御性の課題を解決することを目的としている。
  • このモデルは、テキストガイドによる動画吹き替え、テキスト制御による動画吹き替え、参照音声制御による動画吹き替えの 3 種類のタスクを統一的にサポートする。
  • ControlFoley は VGGSound-Test など複数のベンチマークでオープンソース SOTA の性能を達成し、コード、モデル重み、オンライン Demo がすべて公開されている

概要

公開日時
更新日時
出典
IT之家·人工智能
カテゴリ
モデル公開
AI スコア
74
原文を読む 情報源で全文を読む
おすすめの理由

小米开源的 ControlFoley 把视频音效生成从“看画面配声音”推进到“按意图来”,开源 SOTA 且直接提供 Skill,做视频创作的可以上手试试。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:シャオミ、制御可能な動画効果音生成モデル ControlFoley をオープンソース化、音を「思い通りに」。2026年5月29日。https://new.nat6.net/ja/news/cmpqppxpf075oslno4jxz0h8b/

すべて見る →
  • Qwen-VLA:世界を理解して行動へ

    通義千問は汎用視覚-言語-行動モデルQwen-VLAを発表した。Qwenマルチモーダル基盤に基づき、視覚知覚・言語理解・空間推論を連続的な行動生成と軌道予測へ拡張する。トレーニングはテキストから行動への事前学習(T2A)、継続的事前学習(…

    Qwen:Blog Retrieval(API)モデル公開AI スコア 66

  • ChatGPT に GPT-5.5 Instant の新バージョンが登場

    ChatGPT に GPT-5.5 instant モデルを追加: 本日、GPT-5.5 instant の新バージョンをリリースしました。以前のモデルは「弾丸化」しすぎていました。新バージョンは他のいくつかの重要な次元で改善されています…

    X:Greg Brockman (@gdb)モデル公開AI スコア 69

  • xAI、Grok Build 0.1のパブリックベータ版をリリース

    grok-build-0.1はxAI APIを通じてパブリックベータ版を提供開始した。Grok Build CLIを動かすのと同じモデルで、エージェント型コーディングを得意とする。価格は入力$1/m、出力$2/mで、コスト効率が高く、高性…

    X:SpaceX Super Intelligence (@SpaceXSI)モデル公開AI スコア 73