モデル公開

大規模言語モデルを「一問一答」から「見ながら話す」へ、京東がリアルタイム動画視覚言語対話モデルJoyAI-VL-Interactionをオープンソース化

AI 要約

京東はリアルタイム動画視覚言語対話モデルJoyAI-VL-Interactionをオープンソース化すると公式発表した。世界初のフルスタックオープンソースのinteractionモデルおよびシステムであり、vLLM-Omniのday-0ネイティブサポートを獲得している。同モデルは三つの突破を備える。能動的判断(動画ストリームを継続観察し、いつ話すかを自律的に決定)、リアルタイム応答(進行中の動画ストリームに対して即時応答)、適時のエージェント委任(複雑なタスクをバックエンドモデルに引き継ぎ、フロントエンドは観察を継続)。カメラ、ライブ配信ストリーム、監視ストリームなどの動画入力に対応し、音声入出力、可視化インターフェース、長期記憶、vLLMデプロイをサポートする。58件の実人間によるブラインド評価で、豆包ビデオ通話アシスタントに対して総合勝率77.6%、Geminiビデオ通話アシスタントに対して総合勝率87.9%を記録した。

要点

  • 京東はリアルタイム動画視覚言語対話モデルJoyAI-VL-Interactionをオープンソース化すると公式発表した。
  • 世界初のフルスタックオープンソースのinteractionモデルおよびシステムであり、vLLM-Omniのday-0ネイティブサポートを獲得している。
  • 同モデルは三つの突破を備える。
  • 能動的判断(動画ストリームを継続観察し、いつ話すかを自律的に決定)、リアルタイム応答(進行中の動画ストリームに対して即時応答)、適時のエージェント委任(複雑なタスクをバックエンドモデルに引き継ぎ、フ…
  • カメラ、ライブ配信ストリーム、監視ストリームなどの動画入力に対応し、音声入出力、可視化インターフェース、長期記憶、vLLMデプロイをサポートする。

概要

公開日時
更新日時
出典
IT之家·人工智能
カテゴリ
モデル公開
AI スコア
71
原文を読む 情報源で全文を読む
おすすめの理由

京东开源了首个全栈实时视频交互模型,让大模型能持续观察并主动响应,开发者可以直接用代码搭建安防、导购等实时AI助手,实用性很强。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:大規模言語モデルを「一問一答」から「見ながら話す」へ、京東がリアルタイム動画視覚言語対話モデルJoyAI-VL-Interactionをオープンソース化。2026年6月22日。https://new.nat6.net/ja/news/cmqozph2l05nlslx6ip3k2irx/

すべて見る →