Makalah & Riset

Stochastic KV Routing: mewujudkan berbagi cache adaptif pada arah kedalaman

Judul asli:Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing

Ringkasan AI

Untuk mengurangi biaya memori KV cache yang tinggi saat inferensi model bahasa besar, penelitian ini mengusulkan metode baru yang dioptimalkan sepanjang dimensi kedalaman model. Metode ini melalui perutean KV acak berbagi KV cache secara dinamis antar lapisan model Transformer, alih-alih mempertahankan cache lengkap independen di setiap lapisan. Eksperimen menunjukkan bahwa dengan kualitas model yang hampir tidak berubah, metode ini dapat mengurangi penggunaan memori KV cache hingga 50%, menawarkan jalur optimasi baru yang ortogonal terhadap teknik kompresi dan penghapusan pada sumbu waktu yang ada untuk menurunkan biaya layanan model besar.

Poin utama

  • Untuk mengurangi biaya memori KV cache yang tinggi saat inferensi model bahasa besar,penelitian…
  • Metode ini melalui perutean KV acak berbagi KV cache secara dinamis antar lapisan model…
  • Eksperimen menunjukkan bahwa dengan kualitas model yang hampir tidak berubah,metode ini dapat…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Apple Machine Learning Research(RSS)
Kategori
Makalah & Riset
Skor AI
59
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

苹果这篇不走寻常路,从深度维度压缩KV缓存,是推理服务端降本的新思路,做LLM部署的值得一读。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Stochastic KV Routing: mewujudkan berbagi cache adaptif pada arah kedalaman. 5 Mei 2026. https://new.nat6.net/id/news/cmot2xtld01vvslv77sxlkqqk/

Lihat semua →