Articles et recherche

Stochastic KV Routing : un partage de cache adaptatif le long de la profondeur

Titre original:Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing

Résumé IA

Pour réduire la forte empreinte mémoire du cache KV lors de l'inférence des grands modèles de langage, des chercheurs ont proposé une nouvelle méthode optimisée le long de la dimension de profondeur du modèle. Grâce au routage KV stochastique, cette méthode partage dynamiquement le cache KV entre les couches du modèle Transformer, au lieu de conserver un cache complet et indépendant à chaque couche. Les expériences montrent que, sans dégrader sensiblement la qualité du modèle, cette méthode peut réduire jusqu'à 50 % l'empreinte mémoire du cache KV, offrant une nouvelle voie d'optimisation orthogonale aux techniques existantes de compression et d'éviction sur l'axe temporel pour réduire les coûts de service des grands modèles.

Points clés

  • Pour réduire la forte empreinte mémoire du cache KV lors de l'inférence des grands modèles de…
  • Grâce au routage KV stochastique,cette méthode partage dynamiquement le cache KV entre les couches…
  • Les expériences montrent que,sans dégrader sensiblement la qualité du modèle,cette méthode peut…

En bref

Publié
Mis à jour
Source
Apple Machine Learning Research(RSS)
Catégorie
Articles et recherche
Score IA
59
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

苹果这篇不走寻常路,从深度维度压缩KV缓存,是推理服务端降本的新思路,做LLM部署的值得一读。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Stochastic KV Routing : un partage de cache adaptatif le long de la profondeur. 5. mai 2026. https://new.nat6.net/fr/news/cmot2xtld01vvslv77sxlkqqk/

Tout voir →