Cache Radix unifié : une structure arborescente unique pour le cache de préfixes des modèles hybrides
Titre original:Blog Unified Radix Cache: One Tree for Hybrid Model Prefix Caching Prefix caching reuses KV when requests share the same token prefix. Under full attention, once the KV for a shared prefix is computed, it remains valid as more tokens are appended. A later request wit... Zhangheng Huang, Ke Bao, Yi Zhang, Jialin Ouyang, Sicheng Pan
Résumé IA
L'équipe LMSYS propose Unified Radix Cache, une topologie radix à clé unique par token qui gère de manière unifiée les caches des composants FULL, SWA et MAMBA des modèles hybrides, chaque composant appliquant indépendamment ses sémantiques de chemin, de fenêtre glissante et de réutilisation par point de contrôle.
Points clés
- L'équipe LMSYS propose Unified Radix Cache,une topologie radix à clé unique par token qui gère de…
- SWA et MAMBA des modèles hybrides
- chaque composant appliquant indépendamment ses sémantiques de chemin,de fenêtre glissante et de…
En bref
- Publié
- Mis à jour
- Source
- LMSYS Blog
- Catégorie
- Articles et recherche
- Score IA
- 72
传统做法需为每种注意力组合实现独立缓存,本文以统一基树和组件钩子将复用规则解耦,SWE-bench上TTFT降低最高16.6%。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Cache Radix unifié : une structure arborescente unique pour le cache de préfixes des modèles hybrides. 11. août 2026. https://new.nat6.net/fr/news/cmsopyoum028vrohd4dgeksz9/