Bài báo & nghiên cứu

Stochastic KV Routing: hiện thực hóa chia sẻ bộ nhớ đệm theo hướng độ sâu thích ứng

Tiêu đề gốc:Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing

Tóm tắt AI

Nhằm giảm chi phí bộ nhớ cao của bộ nhớ đệm KV khi suy luận mô hình ngôn ngữ lớn, nghiên cứu đề xuất một phương pháp mới tối ưu hóa theo chiều sâu của mô hình. Phương pháp này thông qua định tuyến KV ngẫu nhiên, chia sẻ động bộ nhớ đệm KV giữa các lớp của mô hình Transformer, thay vì giữ bộ nhớ đệm đầy đủ độc lập ở mỗi lớp. Thực nghiệm cho thấy, trong điều kiện chất lượng mô hình cơ bản không đổi, phương pháp này có thể giảm tới 50% dung lượng bộ nhớ của bộ nhớ đệm KV, cung cấp một hướng tối ưu mới trực giao với các kỹ thuật nén và loại bỏ theo trục thời gian hiện có để giảm chi phí phục vụ mô hình lớn.

Thông tin chính

  • Nhằm giảm chi phí bộ nhớ cao của bộ nhớ đệm KV khi suy luận mô hình ngôn ngữ lớn,nghiên cứu đề…
  • Phương pháp này thông qua định tuyến KV ngẫu nhiên,chia sẻ động bộ nhớ đệm KV giữa các lớp của mô…
  • Thực nghiệm cho thấy,trong điều kiện chất lượng mô hình cơ bản không đổi,phương pháp này có thể…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
Apple Machine Learning Research(RSS)
Danh mục
Bài báo & nghiên cứu
Điểm AI
59
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

苹果这篇不走寻常路,从深度维度压缩KV缓存,是推理服务端降本的新思路,做LLM部署的值得一读。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Stochastic KV Routing: hiện thực hóa chia sẻ bộ nhớ đệm theo hướng độ sâu thích ứng. 5 tháng 5 2026. https://new.nat6.net/vi/news/cmot2xtld01vvslv77sxlkqqk/

Xem tất cả →