Modellveröffentlichungen

JD.com veröffentlicht Open-Source-Framework JoyAI-Echo zur langen Audio-Video-Generierung

Originaltitel:京东开源JoyAI-Echo框架,进入全球第一梯队!

KI-Zusammenfassung

Am 3. Juni hat JD.com das Framework JoyAI-Echo als Open Source veröffentlicht, das drei zentrale Probleme der langen Videogenerierung löst: Identitätsverlust von Figuren, plötzliche Stimmveränderungen und langsame Generierung. Das Framework hält über eine multimodale Audio-Video-Gedächtnisbank das Aussehen und die Stimme von Figuren über 5 Minuten konsistent; gedächtnisgesteuertes Post-Training kombiniert mit DMD-Technologie bringt etwa 7,5-fache Inferenzbeschleunigung. Ein neuer Director Agent ermöglicht dialogbasierte lokale Überarbeitungen in natürlicher Sprache, ohne das gesamte Video neu zu rendern. Ein begleitendes leichtgewichtiges Echtzeit-Super-Resolution-Modul unterstützt die beiden Auflösungsstufen 736×1280→1152×1920 und 1472×2560. Im Evaluationsset erreicht die Sprachinhaltstrefferquote 0,8646, und bei mehreren Nutzerpräferenzen liegt das System vorn. Code und Gewichte wurden auf GitHub als Open Source veröffentlicht.

Kernpunkte

  • Juni hat JD.
  • com das Framework JoyAI-Echo als Open Source veröffentlicht,das drei zentrale Probleme der langen…
  • Das Framework hält über eine multimodale Audio-Video-Gedächtnisbank das Aussehen und die Stimme…
  • gedächtnisgesteuertes Post-Training kombiniert mit DMD-Technologie bringt etwa 7,5-fache…
  • Ein neuer Director Agent ermöglicht dialogbasierte lokale Überarbeitungen in natürlicher…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
公众号:京东JoyAI
Kategorie
Modellveröffentlichungen
KI-Bewertung
72
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

长视频生成一直被角色崩塌和龟速生成卡死,JoyAI-Echo 开源给出了角色一致性方案和 7.5 倍加速,Director Agent 对话式编辑的思路很先进,做 AI 视频的朋友可以直接去 GitHub 开跑。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: JD.com veröffentlicht Open-Source-Framework JoyAI-Echo zur langen Audio-Video-Generierung. 5. Juni 2026. https://new.nat6.net/de/news/cmq642x6l0501sl5i3sl7adjt/

Alle ansehen →