JD、長尺音声動画生成フレームワークJoyAI-Echoをオープンソース化
原題:京东开源JoyAI-Echo框架,进入全球第一梯队!
AI 要約
6月3日、JDは長尺動画生成におけるキャラクターの同一性崩壊、音声の突然の変化、生成の遅さという3つの課題を解決するフレームワークJoyAI-Echoをオープンソース化した。このフレームワークはクロスモーダルな音声動画メモリバンクにより5分以内のキャラクターの外観と音声の一貫性を保ち、メモリ駆動のポストトレーニングとDMD技術の組み合わせで約7.5倍の推論高速化を実現する。新たにDirector Agentを追加し、自然言語による対話形式の部分修正をサポートして動画全体を再生成する必要をなくした。軽量リアルタイム超解像モジュールも備え、736×1280→1152×1920および1472×2560の2段階の解像度をサポートする。評価セットでは音声内容の正確率0.8646を記録し、ユーザー選好でも複数項目で先行した。コードと重みはGitHubでオープンソース化済み。
要点
- 6月3日、JDは長尺動画生成におけるキャラクターの同一性崩壊、音声の突然の変化、生成の遅さという3つの課題を解決するフレームワークJoyAI-Echoをオープンソース化した。
- このフレームワークはクロスモーダルな音声動画メモリバンクにより5分以内のキャラクターの外観と音声の一貫性を保ち、メモリ駆動のポストトレーニングとDMD技術の組み合わせで約7.
- 5倍の推論高速化を実現する。
- 新たにDirector Agentを追加し、自然言語による対話形式の部分修正をサポートして動画全体を再生成する必要をなくした。
- 軽量リアルタイム超解像モジュールも備え、736×1280→1152×1920および1472×2560の2段階の解像度をサポートする。
概要
- 公開日時
- 更新日時
- 出典
- 公众号:京东JoyAI
- カテゴリ
- モデル公開
- AI スコア
- 72
长视频生成一直被角色崩塌和龟速生成卡死,JoyAI-Echo 开源给出了角色一致性方案和 7.5 倍加速,Director Agent 对话式编辑的思路很先进,做 AI 视频的朋友可以直接去 GitHub 开跑。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:JD、長尺音声動画生成フレームワークJoyAI-Echoをオープンソース化。2026年6月5日。https://new.nat6.net/ja/news/cmq642x6l0501sl5i3sl7adjt/