Stochastic KV Routing: lograr un uso compartido adaptativo de la caché en la dirección de profundidad
Título original:Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing
Resumen de IA
Para reducir el elevado coste de memoria de la caché KV durante la inferencia de grandes modelos de lenguaje, la investigación propone un nuevo método optimizado a lo largo de la dimensión de profundidad del modelo. Mediante el enrutamiento KV estocástico, la caché KV se comparte dinámicamente entre las capas del modelo Transformer, en lugar de mantener una caché independiente completa en cada capa. Los experimentos muestran que, manteniendo básicamente invariable la calidad del modelo, este método puede reducir hasta un 50% el uso de memoria de la caché KV, ofreciendo una nueva vía de optimización ortogonal a las técnicas existentes de compresión y desalojo en el eje temporal para reducir los costes de servicio de los grandes modelos.
Puntos clave
- Para reducir el elevado coste de memoria de la caché KV durante la inferencia de grandes modelos…
- Mediante el enrutamiento KV estocástico,la caché KV se comparte dinámicamente entre las capas del…
- Los experimentos muestran que,manteniendo básicamente invariable la calidad del modelo,este método…
Resumen rápido
- Publicado
- Actualizado
- Categoría
- Artículos e investigación
- Puntuación IA
- 59
苹果这篇不走寻常路,从深度维度压缩KV缓存,是推理服务端降本的新思路,做LLM部署的值得一读。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Stochastic KV Routing: lograr un uso compartido adaptativo de la caché en la dirección de profundidad. 5. mayo 2026. https://new.nat6.net/es/news/cmot2xtld01vvslv77sxlkqqk/