Stochastic KV Routing: merealisasikan perkongsian cache adaptif mengikut arah kedalaman
Tajuk asal:Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing
Ringkasan AI
Bagi mengurangkan overhed memori tinggi cache KV semasa penaakulan model bahasa besar, kajian mencadangkan kaedah baharu yang dioptimumkan mengikut dimensi kedalaman model. Kaedah ini berkongsi cache KV secara dinamik antara lapisan model Transformer melalui penghalaan KV stokastik, bukannya mengekalkan cache berasingan yang lengkap pada setiap lapisan. Eksperimen menunjukkan bahawa tanpa mengubah kualiti model secara asas, kaedah ini dapat mengurangkan penggunaan memori cache KV sehingga 50%, sekali gus menyediakan laluan pengoptimuman baharu yang ortogon dengan teknik pemampatan dan pengusiran paksi masa sedia ada untuk mengurangkan kos perkhidmatan model besar.
Maklumat penting
- Bagi mengurangkan overhed memori tinggi cache KV semasa penaakulan model bahasa besar,kajian…
- Kaedah ini berkongsi cache KV secara dinamik antara lapisan model Transformer melalui penghalaan…
- Eksperimen menunjukkan bahawa tanpa mengubah kualiti model secara asas,kaedah ini dapat…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Kategori
- Kertas penyelidikan
- Skor AI
- 59
苹果这篇不走寻常路,从深度维度压缩KV缓存,是推理服务端降本的新思路,做LLM部署的值得一读。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Stochastic KV Routing: merealisasikan perkongsian cache adaptif mengikut arah kedalaman. 5 Mei 2026. https://new.nat6.net/ms/news/cmot2xtld01vvslv77sxlkqqk/