JD.com veröffentlicht Open-Source-Framework JoyAI-Echo zur langen Audio-Video-Generierung
Originaltitel:京东开源JoyAI-Echo框架,进入全球第一梯队!
KI-Zusammenfassung
Am 3. Juni hat JD.com das Framework JoyAI-Echo als Open Source veröffentlicht, das drei zentrale Probleme der langen Videogenerierung löst: Identitätsverlust von Figuren, plötzliche Stimmveränderungen und langsame Generierung. Das Framework hält über eine multimodale Audio-Video-Gedächtnisbank das Aussehen und die Stimme von Figuren über 5 Minuten konsistent; gedächtnisgesteuertes Post-Training kombiniert mit DMD-Technologie bringt etwa 7,5-fache Inferenzbeschleunigung. Ein neuer Director Agent ermöglicht dialogbasierte lokale Überarbeitungen in natürlicher Sprache, ohne das gesamte Video neu zu rendern. Ein begleitendes leichtgewichtiges Echtzeit-Super-Resolution-Modul unterstützt die beiden Auflösungsstufen 736×1280→1152×1920 und 1472×2560. Im Evaluationsset erreicht die Sprachinhaltstrefferquote 0,8646, und bei mehreren Nutzerpräferenzen liegt das System vorn. Code und Gewichte wurden auf GitHub als Open Source veröffentlicht.
Kernpunkte
- Juni hat JD.
- com das Framework JoyAI-Echo als Open Source veröffentlicht,das drei zentrale Probleme der langen…
- Das Framework hält über eine multimodale Audio-Video-Gedächtnisbank das Aussehen und die Stimme…
- gedächtnisgesteuertes Post-Training kombiniert mit DMD-Technologie bringt etwa 7,5-fache…
- Ein neuer Director Agent ermöglicht dialogbasierte lokale Überarbeitungen in natürlicher…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- 公众号:京东JoyAI
- Kategorie
- Modellveröffentlichungen
- KI-Bewertung
- 72
长视频生成一直被角色崩塌和龟速生成卡死,JoyAI-Echo 开源给出了角色一致性方案和 7.5 倍加速,Director Agent 对话式编辑的思路很先进,做 AI 视频的朋友可以直接去 GitHub 开跑。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: JD.com veröffentlicht Open-Source-Framework JoyAI-Echo zur langen Audio-Video-Generierung. 5. Juni 2026. https://new.nat6.net/de/news/cmq642x6l0501sl5i3sl7adjt/