大規模言語モデルを「一問一答」から「見ながら話す」へ、京東がリアルタイム動画視覚言語対話モデルJoyAI-VL-Interactionをオープンソース化
AI 要約
京東はリアルタイム動画視覚言語対話モデルJoyAI-VL-Interactionをオープンソース化すると公式発表した。世界初のフルスタックオープンソースのinteractionモデルおよびシステムであり、vLLM-Omniのday-0ネイティブサポートを獲得している。同モデルは三つの突破を備える。能動的判断(動画ストリームを継続観察し、いつ話すかを自律的に決定)、リアルタイム応答(進行中の動画ストリームに対して即時応答)、適時のエージェント委任(複雑なタスクをバックエンドモデルに引き継ぎ、フロントエンドは観察を継続)。カメラ、ライブ配信ストリーム、監視ストリームなどの動画入力に対応し、音声入出力、可視化インターフェース、長期記憶、vLLMデプロイをサポートする。58件の実人間によるブラインド評価で、豆包ビデオ通話アシスタントに対して総合勝率77.6%、Geminiビデオ通話アシスタントに対して総合勝率87.9%を記録した。
要点
- 京東はリアルタイム動画視覚言語対話モデルJoyAI-VL-Interactionをオープンソース化すると公式発表した。
- 世界初のフルスタックオープンソースのinteractionモデルおよびシステムであり、vLLM-Omniのday-0ネイティブサポートを獲得している。
- 同モデルは三つの突破を備える。
- 能動的判断(動画ストリームを継続観察し、いつ話すかを自律的に決定)、リアルタイム応答(進行中の動画ストリームに対して即時応答)、適時のエージェント委任(複雑なタスクをバックエンドモデルに引き継ぎ、フ…
- カメラ、ライブ配信ストリーム、監視ストリームなどの動画入力に対応し、音声入出力、可視化インターフェース、長期記憶、vLLMデプロイをサポートする。
概要
京东开源了首个全栈实时视频交互模型,让大模型能持续观察并主动响应,开发者可以直接用代码搭建安防、导购等实时AI助手,实用性很强。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:大規模言語モデルを「一問一答」から「見ながら話す」へ、京東がリアルタイム動画視覚言語対話モデルJoyAI-VL-Interactionをオープンソース化。2026年6月22日。https://new.nat6.net/ja/news/cmqozph2l05nlslx6ip3k2irx/