Stochastic KV Routing: mewujudkan berbagi cache adaptif pada arah kedalaman
Judul asli:Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing
Ringkasan AI
Untuk mengurangi biaya memori KV cache yang tinggi saat inferensi model bahasa besar, penelitian ini mengusulkan metode baru yang dioptimalkan sepanjang dimensi kedalaman model. Metode ini melalui perutean KV acak berbagi KV cache secara dinamis antar lapisan model Transformer, alih-alih mempertahankan cache lengkap independen di setiap lapisan. Eksperimen menunjukkan bahwa dengan kualitas model yang hampir tidak berubah, metode ini dapat mengurangi penggunaan memori KV cache hingga 50%, menawarkan jalur optimasi baru yang ortogonal terhadap teknik kompresi dan penghapusan pada sumbu waktu yang ada untuk menurunkan biaya layanan model besar.
Poin utama
- Untuk mengurangi biaya memori KV cache yang tinggi saat inferensi model bahasa besar,penelitian…
- Metode ini melalui perutean KV acak berbagi KV cache secara dinamis antar lapisan model…
- Eksperimen menunjukkan bahwa dengan kualitas model yang hampir tidak berubah,metode ini dapat…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Kategori
- Makalah & Riset
- Skor AI
- 59
苹果这篇不走寻常路,从深度维度压缩KV缓存,是推理服务端降本的新思路,做LLM部署的值得一读。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Stochastic KV Routing: mewujudkan berbagi cache adaptif pada arah kedalaman. 5 Mei 2026. https://new.nat6.net/id/news/cmot2xtld01vvslv77sxlkqqk/