Stochastic KV Routing : un partage de cache adaptatif le long de la profondeur
Titre original:Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing
Résumé IA
Pour réduire la forte empreinte mémoire du cache KV lors de l'inférence des grands modèles de langage, des chercheurs ont proposé une nouvelle méthode optimisée le long de la dimension de profondeur du modèle. Grâce au routage KV stochastique, cette méthode partage dynamiquement le cache KV entre les couches du modèle Transformer, au lieu de conserver un cache complet et indépendant à chaque couche. Les expériences montrent que, sans dégrader sensiblement la qualité du modèle, cette méthode peut réduire jusqu'à 50 % l'empreinte mémoire du cache KV, offrant une nouvelle voie d'optimisation orthogonale aux techniques existantes de compression et d'éviction sur l'axe temporel pour réduire les coûts de service des grands modèles.
Points clés
- Pour réduire la forte empreinte mémoire du cache KV lors de l'inférence des grands modèles de…
- Grâce au routage KV stochastique,cette méthode partage dynamiquement le cache KV entre les couches…
- Les expériences montrent que,sans dégrader sensiblement la qualité du modèle,cette méthode peut…
En bref
- Publié
- Mis à jour
- Catégorie
- Articles et recherche
- Score IA
- 59
苹果这篇不走寻常路,从深度维度压缩KV缓存,是推理服务端降本的新思路,做LLM部署的值得一读。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Stochastic KV Routing : un partage de cache adaptatif le long de la profondeur. 5. mai 2026. https://new.nat6.net/fr/news/cmot2xtld01vvslv77sxlkqqk/