Kertas penyelidikan

Stochastic KV Routing: merealisasikan perkongsian cache adaptif mengikut arah kedalaman

Tajuk asal:Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing

Ringkasan AI

Bagi mengurangkan overhed memori tinggi cache KV semasa penaakulan model bahasa besar, kajian mencadangkan kaedah baharu yang dioptimumkan mengikut dimensi kedalaman model. Kaedah ini berkongsi cache KV secara dinamik antara lapisan model Transformer melalui penghalaan KV stokastik, bukannya mengekalkan cache berasingan yang lengkap pada setiap lapisan. Eksperimen menunjukkan bahawa tanpa mengubah kualiti model secara asas, kaedah ini dapat mengurangkan penggunaan memori cache KV sehingga 50%, sekali gus menyediakan laluan pengoptimuman baharu yang ortogon dengan teknik pemampatan dan pengusiran paksi masa sedia ada untuk mengurangkan kos perkhidmatan model besar.

Maklumat penting

  • Bagi mengurangkan overhed memori tinggi cache KV semasa penaakulan model bahasa besar,kajian…
  • Kaedah ini berkongsi cache KV secara dinamik antara lapisan model Transformer melalui penghalaan…
  • Eksperimen menunjukkan bahawa tanpa mengubah kualiti model secara asas,kaedah ini dapat…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Apple Machine Learning Research(RSS)
Kategori
Kertas penyelidikan
Skor AI
59
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

苹果这篇不走寻常路,从深度维度压缩KV缓存,是推理服务端降本的新思路,做LLM部署的值得一读。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Stochastic KV Routing: merealisasikan perkongsian cache adaptif mengikut arah kedalaman. 5 Mei 2026. https://new.nat6.net/ms/news/cmot2xtld01vvslv77sxlkqqk/

Lihat Semua →