Artículos e investigación

Caché Radix unificada: una única estructura de árbol para la caché de prefijos de modelos híbridos

Título original:Blog Unified Radix Cache: One Tree for Hybrid Model Prefix Caching Prefix caching reuses KV when requests share the same token prefix. Under full attention, once the KV for a shared prefix is computed, it remains valid as more tokens are appended. A later request wit... Zhangheng Huang, Ke Bao, Yi Zhang, Jialin Ouyang, Sicheng Pan

Resumen de IA

El equipo de LMSYS propone Unified Radix Cache, que gestiona de forma unificada las cachés de los componentes FULL, SWA y MAMBA de modelos híbridos mediante una única topología radix indexada por tokens, donde cada componente ejecuta de forma independiente las semánticas de rutas, ventanas deslizantes y reutilización de puntos de control.

Puntos clave

  • El equipo de LMSYS propone Unified Radix Cache,que gestiona de forma unificada las cachés de los…
  • SWA y MAMBA de modelos híbridos mediante una única topología radix indexada por tokens
  • donde cada componente ejecuta de forma independiente las semánticas de rutas,ventanas deslizantes…

Resumen rápido

Publicado
Actualizado
Fuente
LMSYS Blog
Categoría
Artículos e investigación
Puntuación IA
72
Leer el original Leer el artículo completo en la fuente original
Por qué importa

传统做法需为每种注意力组合实现独立缓存,本文以统一基树和组件钩子将复用规则解耦,SWE-bench上TTFT降低最高16.6%。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Caché Radix unificada: una única estructura de árbol para la caché de prefijos de modelos híbridos. 11. agosto 2026. https://new.nat6.net/es/news/cmsopyoum028vrohd4dgeksz9/

Ver todo →