Articles et recherche

Cache Radix unifié : une structure arborescente unique pour le cache de préfixes des modèles hybrides

Titre original:Blog Unified Radix Cache: One Tree for Hybrid Model Prefix Caching Prefix caching reuses KV when requests share the same token prefix. Under full attention, once the KV for a shared prefix is computed, it remains valid as more tokens are appended. A later request wit... Zhangheng Huang, Ke Bao, Yi Zhang, Jialin Ouyang, Sicheng Pan

Résumé IA

L'équipe LMSYS propose Unified Radix Cache, une topologie radix à clé unique par token qui gère de manière unifiée les caches des composants FULL, SWA et MAMBA des modèles hybrides, chaque composant appliquant indépendamment ses sémantiques de chemin, de fenêtre glissante et de réutilisation par point de contrôle.

Points clés

  • L'équipe LMSYS propose Unified Radix Cache,une topologie radix à clé unique par token qui gère de…
  • SWA et MAMBA des modèles hybrides
  • chaque composant appliquant indépendamment ses sémantiques de chemin,de fenêtre glissante et de…

En bref

Publié
Mis à jour
Source
LMSYS Blog
Catégorie
Articles et recherche
Score IA
72
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

传统做法需为每种注意力组合实现独立缓存,本文以统一基树和组件钩子将复用规则解耦,SWE-bench上TTFT降低最高16.6%。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Cache Radix unifié : une structure arborescente unique pour le cache de préfixes des modèles hybrides. 11. août 2026. https://new.nat6.net/fr/news/cmsopyoum028vrohd4dgeksz9/

Tout voir →