Ra mắt mô hình

Đưa mô hình lớn từ "hỏi đáp" sang "vừa xem vừa nói", JD mở mã nguồn mô hình tương tác thị giác-ngôn ngữ video thời gian thực JoyAI-VL-Interaction

Tóm tắt AI

JD chính thức công bố mở mã nguồn mô hình tương tác thị giác-ngôn ngữ video thời gian thực JoyAI-VL-Interaction, đây là mô hình và hệ thống interaction mã nguồn mở toàn stack đầu tiên trên thế giới, được vLLM-Omni hỗ trợ gốc từ day-0. Mô hình có ba đột phá: chủ động phán đoán (liên tục quan sát luồng video tự quyết định khi nào nói), phản hồi thời gian thực (phản hồi tức thời với luồng video đang diễn ra), ủy thác tác nhân đúng lúc (tác vụ phức tạp chuyển cho mô hình nền, giao diện tiếp tục quan sát). Hỗ trợ đầu vào video như camera, luồng phát trực tiếp, luồng giám sát, cùng đầu vào/ra giọng nói, giao diện trực quan, bộ nhớ dài hạn và triển khai vLLM. Trong 58 trường hợp đánh giá mù bởi người thật, tỷ lệ thắng tổng thể 77,6% so với trợ lý gọi video Doubao, 87,9% so với trợ lý gọi video Gemini.

Thông tin chính

  • JD chính thức công bố mở mã nguồn mô hình tương tác thị giác-ngôn ngữ video thời gian thực…
  • Mô hình có ba đột phá: chủ động phán đoán (liên tục quan sát luồng video tự quyết định khi nào…
  • Hỗ trợ đầu vào video như camera,luồng phát trực tiếp,luồng giám sát,cùng đầu vào/ra giọng nói,giao…
  • Trong 58 trường hợp đánh giá mù bởi người thật,tỷ lệ thắng tổng thể 77,6% so với trợ lý gọi video…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
IT之家·人工智能
Danh mục
Ra mắt mô hình
Điểm AI
71
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

京东开源了首个全栈实时视频交互模型,让大模型能持续观察并主动响应,开发者可以直接用代码搭建安防、导购等实时AI助手,实用性很强。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Đưa mô hình lớn từ "hỏi đáp" sang "vừa xem vừa nói", JD mở mã nguồn mô hình tương tác thị giác-ngôn ngữ video thời gian thực JoyAI-VL-Interaction. 22 tháng 6 2026. https://new.nat6.net/vi/news/cmqozph2l05nlslx6ip3k2irx/

Xem tất cả →