Đưa mô hình lớn từ "hỏi đáp" sang "vừa xem vừa nói", JD mở mã nguồn mô hình tương tác thị giác-ngôn ngữ video thời gian thực JoyAI-VL-Interaction
Tóm tắt AI
JD chính thức công bố mở mã nguồn mô hình tương tác thị giác-ngôn ngữ video thời gian thực JoyAI-VL-Interaction, đây là mô hình và hệ thống interaction mã nguồn mở toàn stack đầu tiên trên thế giới, được vLLM-Omni hỗ trợ gốc từ day-0. Mô hình có ba đột phá: chủ động phán đoán (liên tục quan sát luồng video tự quyết định khi nào nói), phản hồi thời gian thực (phản hồi tức thời với luồng video đang diễn ra), ủy thác tác nhân đúng lúc (tác vụ phức tạp chuyển cho mô hình nền, giao diện tiếp tục quan sát). Hỗ trợ đầu vào video như camera, luồng phát trực tiếp, luồng giám sát, cùng đầu vào/ra giọng nói, giao diện trực quan, bộ nhớ dài hạn và triển khai vLLM. Trong 58 trường hợp đánh giá mù bởi người thật, tỷ lệ thắng tổng thể 77,6% so với trợ lý gọi video Doubao, 87,9% so với trợ lý gọi video Gemini.
Thông tin chính
- JD chính thức công bố mở mã nguồn mô hình tương tác thị giác-ngôn ngữ video thời gian thực…
- Mô hình có ba đột phá: chủ động phán đoán (liên tục quan sát luồng video tự quyết định khi nào…
- Hỗ trợ đầu vào video như camera,luồng phát trực tiếp,luồng giám sát,cùng đầu vào/ra giọng nói,giao…
- Trong 58 trường hợp đánh giá mù bởi người thật,tỷ lệ thắng tổng thể 77,6% so với trợ lý gọi video…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- IT之家·人工智能
- Danh mục
- Ra mắt mô hình
- Điểm AI
- 71
京东开源了首个全栈实时视频交互模型,让大模型能持续观察并主动响应,开发者可以直接用代码搭建安防、导购等实时AI助手,实用性很强。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Đưa mô hình lớn từ "hỏi đáp" sang "vừa xem vừa nói", JD mở mã nguồn mô hình tương tác thị giác-ngôn ngữ video thời gian thực JoyAI-VL-Interaction. 22 tháng 6 2026. https://new.nat6.net/vi/news/cmqozph2l05nlslx6ip3k2irx/