Sản phẩm & ứng dụng

RedKnot của Xiaohongshu: động cơ suy luận tách KV Cache theo đầu chú ý để tăng tốc văn bản dài

Tiêu đề gốc:让 KV Cache「按头分家」:小红书 RedKnot 如何重做长文本推理新引擎

Tóm tắt AI

RedKnot tách KV Cache theo chiều đầu chú ý, thống nhất thuật toán và độ chi tiết lưu trữ qua ba cơ chế: phân loại thưa đầu chú ý (đầu cục bộ chiếm 83,4%–96,8%), FFN thưa và SegPagedAttention. Trên 8 GPU H800, TTFT tăng tốc tối đa 1,6–3,54×, đồng thời trên một GPU tăng 4,7–7,8×, FLOPs giai đoạn prefill giảm 67%–79,5%. Trên DeepSeek-V4-Flash với ngữ cảnh 128K, TTFT tăng tốc đạt 5,16×, truyền KV tiết kiệm tối đa 6,3×. Độ chính xác thường không thấp hơn 95% so với F1 của mô hình dày đặc.

Thông tin chính

  • RedKnot tách KV Cache theo chiều đầu chú ý,thống nhất thuật toán và độ chi tiết lưu trữ qua ba cơ…
  • Trên 8 GPU H800,TTFT tăng tốc tối đa 1,6–3,54×,đồng thời trên một GPU tăng 4,7–7,8×,FLOPs giai…
  • Trên DeepSeek-V4-Flash với ngữ cảnh 128K,TTFT tăng tốc đạt 5,16×,truyền KV tiết kiệm tối đa 6,3×.
  • Độ chính xác thường không thấp hơn 95% so với F1 của mô hình dày đặc.

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
公众号:小红书技术(dots.llm)
Danh mục
Sản phẩm & ứng dụng
Điểm AI
72
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

小红书把 KV Cache 从 token 级拆成按头分家,这个思路让长文本推理的 TTFT 和并发都有数量级提升,开源出来对做推理引擎的同学是个福音。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: RedKnot của Xiaohongshu: động cơ suy luận tách KV Cache theo đầu chú ý để tăng tốc văn bản dài. 29 tháng 6 2026. https://new.nat6.net/vi/news/cmqz49v7400e4sldyr126zupc/

Xem tất cả →