Mga Papel at Pananaliksik

Stochastic KV Routing: pagpapatupad ng adaptive depth-direction cache sharing

Orihinal na pamagat:Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing

AI summary

Upang mabawasan ang mataas na memory overhead ng KV cache sa inference ng malaking modelo ng wika, iminungkahi ng pananaliksik ang isang bagong paraan na nag-o-optimize sa depth dimension ng modelo. Sa pamamagitan ng stochastic KV routing, dynamic na ibinabahagi ang KV cache sa mga layer ng Transformer model, sa halip na panatilihin ang kumpletong independiyenteng cache sa bawat layer. Ipinapakita ng eksperimento na sa ilalim ng kondisyon na halos hindi nagbabago ang kalidad ng modelo, nababawasan ng paraang ito ang memory usage ng KV cache nang hanggang 50%, na nagbibigay ng bagong optimization path na orthogonal sa umiiral na time-axis compression at eviction techniques para sa pagbaba ng cost ng malaking modelo service.

Mahahalagang impormasyon

  • Upang mabawasan ang mataas na memory overhead ng KV cache sa inference ng malaking modelo ng…
  • Sa pamamagitan ng stochastic KV routing,dynamic na ibinabahagi ang KV cache sa mga layer ng…
  • Ipinapakita ng eksperimento na sa ilalim ng kondisyon na halos hindi nagbabago ang kalidad ng…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Apple Machine Learning Research(RSS)
Kategorya
Mga Papel at Pananaliksik
AI na marka
59
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

苹果这篇不走寻常路,从深度维度压缩KV缓存,是推理服务端降本的新思路,做LLM部署的值得一读。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Stochastic KV Routing: pagpapatupad ng adaptive depth-direction cache sharing. 5 Mayo 2026. https://new.nat6.net/fil/news/cmot2xtld01vvslv77sxlkqqk/

Tingnan lahat →