模型发布

让大模型从“一问一答”走向“边看边说”,京东开源实时视频视觉语言交互模型 JoyAI-VL-Interaction

AI 摘要

京东官方宣布开源实时视频视觉语言交互模型 JoyAI-VL-Interaction,这是全球首个全栈开源的 interaction 模型和系统,获 vLLM-Omni day-0 原生支持。该模型具备三重突破:主动判断(持续观察视频流自主决定何时说话)、实时响应(面向正在发生的视频流即时响应)、适时智能体委托(复杂任务转交后台模型,前台继续观察)。支持摄像头、直播流、监控流等视频输入,以及语音输入输出、可视化界面、长期记忆和 vLLM 部署。在 58 个真人盲评案例中,对比豆包视频通话助手总体胜率 77.6%,对比 Gemini 视频通话助手总体胜率 87.9%。

关键信息

  • 京东官方宣布开源实时视频视觉语言交互模型 JoyAI-VL-Interaction,这是全球首个全栈开源的 interaction 模型和系统,获 vLLM-Omni day-0 原生支持。
  • 该模型具备三重突破:主动判断(持续观察视频流自主决定何时说话)、实时响应(面向正在发生的视频流即时响应)、适时智能体委托(复杂任务转交后台模型,前台继续观察)。
  • 支持摄像头、直播流、监控流等视频输入,以及语音输入输出、可视化界面、长期记忆和 vLLM 部署。
  • 在 58 个真人盲评案例中,对比豆包视频通话助手总体胜率 77.
  • 6%,对比 Gemini 视频通话助手总体胜率 87.

速览

发布时间
更新时间
来源
IT之家·人工智能
分类
模型发布
AI 评分
71
阅读原文 前往信息源阅读完整正文
推荐理由

京东开源了首个全栈实时视频交互模型,让大模型能持续观察并主动响应,开发者可以直接用代码搭建安防、导购等实时AI助手,实用性很强。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:让大模型从“一问一答”走向“边看边说”,京东开源实时视频视觉语言交互模型 JoyAI-VL-Interaction。2026年6月22日。https://new.nat6.net/news/cmqozph2l05nlslx6ip3k2irx/

查看全部 →
  • Grok TTS 盲测人类感得分96登顶

    xAI 的 Grok TTS 模型在 @Vapi_AI 的 Humanness Index 盲测中以 96 分(真人 100 分)位居榜首。该指数选取同一声音和引文,经各模型克隆后由听众盲评。

    X:SpaceX Super Intelligence (@SpaceXSI)模型发布AI 评分 66

  • 火山引擎上线豆包实时语音模型3.0 API 服务,开启邀测

    火山引擎上线豆包实时语音模型3.0(Seeduplex)API 服务并开启邀测。该模型为原生全双工端到端语音大模型,具备精准遵循、抗干扰、动态判停三大优势。可在多人对话中安静待命,指定话题出现时主动加入;支持通过自定义工具在实时交互中完成…

    公众号:火山引擎模型发布AI 评分 72

  • 统一科学大模型 LOGOS 正式开源

    LOGOS 是由 ATH-Token Foundry 联合中国人民大学高瓴人工智能学院开源的基于统一“科学语法”的多领域科学生成基础模型。LOGOS-1B 仅用 1/56 参数量即在多个任务上超越 NatureLM,逆合成预测 Top-1…

    公众号:通义实验室(千问)模型发布AI 评分 73

  • Seed2.1 正式发布,深入 AI 生产力

    字节Seed发布Seed2.1系列,面向真实生产力场景的智能体,强化通用Agent能力、代码工程交付与多模态理解。Seed2.1 Pro在GDPval基准获最高分,Agents' Last Exam位列参评模型第一梯队;MobileWor…

    字节 Seed:Research Feed(网页内嵌数据)模型发布AI 评分 64