Bài báo & nghiên cứu

Xiaohongshu cùng Đại học Bắc Kinh và Đại học Giao thông Thượng Hải đề xuất HYPIC, giúp mô hình lớn chú ý lai dùng bộ nhớ đệm độc lập vị trí, độ trễ token đầu giảm 3,25 lần

Tiêu đề gốc:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」

Tóm tắt AI

Xiaohongshu cùng Đại học Bắc Kinh và Đại học Giao thông Thượng Hải đề xuất HYPIC, hệ thống phục vụ đầu tiên hiện thực bộ nhớ đệm độc lập vị trí trên mô hình lớn chú ý lai. Trên 4 mô hình chú ý lai cấp sản xuất và 5 khối lượng công việc, HYPIC giảm trung bình 3,25 lần độ trễ token đầu (TTFT), tăng 1,66 lần QPS bền vững dưới cùng SLO, chất lượng tác vụ chỉ chênh 1,71 điểm so với tính lại hoàn toàn. Hệ thống hiện thực tổ hợp trạng thái thời gian hằng của tầng tuyến tính bằng toán tử chuyển dịch tích lũy đoạn bộ nhớ đệm, và sửa căn chỉnh liên đoạn của tầng chú ý đầy đủ bằng cửa sổ khâu.

Thông tin chính

  • Xiaohongshu cùng Đại học Bắc Kinh và Đại học Giao thông Thượng Hải đề xuất HYPIC,hệ thống phục vụ…
  • Trên 4 mô hình chú ý lai cấp sản xuất và 5 khối lượng công việc,HYPIC giảm trung bình 3,25 lần độ…
  • Hệ thống hiện thực tổ hợp trạng thái thời gian hằng của tầng tuyến tính bằng toán tử chuyển dịch…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
公众号:小红书技术(dots.llm)
Danh mục
Bài báo & nghiên cứu
Điểm AI
75
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

此前位置无关缓存无法用于混合注意力模型,HYPIC 通过缓存转移算子与缝合窗口首次实现,RAG 场景 TTFT 降低 3.25 倍,开源代码为推理系统提供了可复用的加速路径。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Xiaohongshu cùng Đại học Bắc Kinh và Đại học Giao thông Thượng Hải đề xuất HYPIC, giúp mô hình lớn chú ý lai dùng bộ nhớ đệm độc lập vị trí, độ trễ token đầu giảm 3,25 lần. 16 tháng 7 2026. https://new.nat6.net/vi/news/cmsdu108a00ufrofz01bxk6m3/

Xem tất cả →