モデル公開

JD、長尺音声動画生成フレームワークJoyAI-Echoをオープンソース化

原題:京东开源JoyAI-Echo框架,进入全球第一梯队!

AI 要約

6月3日、JDは長尺動画生成におけるキャラクターの同一性崩壊、音声の突然の変化、生成の遅さという3つの課題を解決するフレームワークJoyAI-Echoをオープンソース化した。このフレームワークはクロスモーダルな音声動画メモリバンクにより5分以内のキャラクターの外観と音声の一貫性を保ち、メモリ駆動のポストトレーニングとDMD技術の組み合わせで約7.5倍の推論高速化を実現する。新たにDirector Agentを追加し、自然言語による対話形式の部分修正をサポートして動画全体を再生成する必要をなくした。軽量リアルタイム超解像モジュールも備え、736×1280→1152×1920および1472×2560の2段階の解像度をサポートする。評価セットでは音声内容の正確率0.8646を記録し、ユーザー選好でも複数項目で先行した。コードと重みはGitHubでオープンソース化済み。

要点

  • 6月3日、JDは長尺動画生成におけるキャラクターの同一性崩壊、音声の突然の変化、生成の遅さという3つの課題を解決するフレームワークJoyAI-Echoをオープンソース化した。
  • このフレームワークはクロスモーダルな音声動画メモリバンクにより5分以内のキャラクターの外観と音声の一貫性を保ち、メモリ駆動のポストトレーニングとDMD技術の組み合わせで約7.
  • 5倍の推論高速化を実現する。
  • 新たにDirector Agentを追加し、自然言語による対話形式の部分修正をサポートして動画全体を再生成する必要をなくした。
  • 軽量リアルタイム超解像モジュールも備え、736×1280→1152×1920および1472×2560の2段階の解像度をサポートする。

概要

公開日時
更新日時
出典
公众号:京东JoyAI
カテゴリ
モデル公開
AI スコア
72
原文を読む 情報源で全文を読む
おすすめの理由

长视频生成一直被角色崩塌和龟速生成卡死,JoyAI-Echo 开源给出了角色一致性方案和 7.5 倍加速,Director Agent 对话式编辑的思路很先进,做 AI 视频的朋友可以直接去 GitHub 开跑。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:JD、長尺音声動画生成フレームワークJoyAI-Echoをオープンソース化。2026年6月5日。https://new.nat6.net/ja/news/cmq642x6l0501sl5i3sl7adjt/

すべて見る →