Stochastic KV Routing: pagpapatupad ng adaptive depth-direction cache sharing
Orihinal na pamagat:Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing
AI summary
Upang mabawasan ang mataas na memory overhead ng KV cache sa inference ng malaking modelo ng wika, iminungkahi ng pananaliksik ang isang bagong paraan na nag-o-optimize sa depth dimension ng modelo. Sa pamamagitan ng stochastic KV routing, dynamic na ibinabahagi ang KV cache sa mga layer ng Transformer model, sa halip na panatilihin ang kumpletong independiyenteng cache sa bawat layer. Ipinapakita ng eksperimento na sa ilalim ng kondisyon na halos hindi nagbabago ang kalidad ng modelo, nababawasan ng paraang ito ang memory usage ng KV cache nang hanggang 50%, na nagbibigay ng bagong optimization path na orthogonal sa umiiral na time-axis compression at eviction techniques para sa pagbaba ng cost ng malaking modelo service.
Mahahalagang impormasyon
- Upang mabawasan ang mataas na memory overhead ng KV cache sa inference ng malaking modelo ng…
- Sa pamamagitan ng stochastic KV routing,dynamic na ibinabahagi ang KV cache sa mga layer ng…
- Ipinapakita ng eksperimento na sa ilalim ng kondisyon na halos hindi nagbabago ang kalidad ng…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Apple Machine Learning Research(RSS)
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 59
苹果这篇不走寻常路,从深度维度压缩KV缓存,是推理服务端降本的新思路,做LLM部署的值得一读。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Stochastic KV Routing: pagpapatupad ng adaptive depth-direction cache sharing. 5 Mayo 2026. https://new.nat6.net/fil/news/cmot2xtld01vvslv77sxlkqqk/