Xiaohongshu cùng Đại học Bắc Kinh và Đại học Giao thông Thượng Hải đề xuất HYPIC, giúp mô hình lớn chú ý lai dùng bộ nhớ đệm độc lập vị trí, độ trễ token đầu giảm 3,25 lần
Tiêu đề gốc:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」
Tóm tắt AI
Xiaohongshu cùng Đại học Bắc Kinh và Đại học Giao thông Thượng Hải đề xuất HYPIC, hệ thống phục vụ đầu tiên hiện thực bộ nhớ đệm độc lập vị trí trên mô hình lớn chú ý lai. Trên 4 mô hình chú ý lai cấp sản xuất và 5 khối lượng công việc, HYPIC giảm trung bình 3,25 lần độ trễ token đầu (TTFT), tăng 1,66 lần QPS bền vững dưới cùng SLO, chất lượng tác vụ chỉ chênh 1,71 điểm so với tính lại hoàn toàn. Hệ thống hiện thực tổ hợp trạng thái thời gian hằng của tầng tuyến tính bằng toán tử chuyển dịch tích lũy đoạn bộ nhớ đệm, và sửa căn chỉnh liên đoạn của tầng chú ý đầy đủ bằng cửa sổ khâu.
Thông tin chính
- Xiaohongshu cùng Đại học Bắc Kinh và Đại học Giao thông Thượng Hải đề xuất HYPIC,hệ thống phục vụ…
- Trên 4 mô hình chú ý lai cấp sản xuất và 5 khối lượng công việc,HYPIC giảm trung bình 3,25 lần độ…
- Hệ thống hiện thực tổ hợp trạng thái thời gian hằng của tầng tuyến tính bằng toán tử chuyển dịch…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- 公众号:小红书技术(dots.llm)
- Danh mục
- Bài báo & nghiên cứu
- Điểm AI
- 75
此前位置无关缓存无法用于混合注意力模型,HYPIC 通过缓存转移算子与缝合窗口首次实现,RAG 场景 TTFT 降低 3.25 倍,开源代码为推理系统提供了可复用的加速路径。
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Xiaohongshu cùng Đại học Bắc Kinh và Đại học Giao thông Thượng Hải đề xuất HYPIC, giúp mô hình lớn chú ý lai dùng bộ nhớ đệm độc lập vị trí, độ trễ token đầu giảm 3,25 lần. 16 tháng 7 2026. https://new.nat6.net/vi/news/cmsdu108a00ufrofz01bxk6m3/