El motor de inferencia RedKnot de Xiaohongshu descompone el KV Cache por cabezas de atención para acelerar textos largos
Título original:让 KV Cache「按头分家」:小红书 RedKnot 如何重做长文本推理新引擎
Resumen de IA
RedKnot descompone el KV Cache a lo largo de la dimensión de cabezas de atención y unifica algoritmo y granularidad de almacenamiento mediante tres mecanismos: dispersión por clasificación de cabezas (las cabezas locales representan el 83,4%–96,8%), FFN disperso y SegPagedAttention. En 8 GPU H800, el TTFT se acelera hasta 1,6–3,54×, la concurrencia por GPU aumenta 4,7–7,8× y los FLOPs de prefill se reducen entre un 67% y un 79,5%. En DeepSeek-V4-Flash, el TTFT con contexto de 128K alcanza una aceleración de 5,16× y la transferencia de KV se reduce hasta 6,3×. La precisión normalmente no es inferior al 95% del F1 denso.
Puntos clave
- RedKnot descompone el KV Cache a lo largo de la dimensión de cabezas de atención y unifica…
- En 8 GPU H800,el TTFT se acelera hasta 1,6–3,54×,la concurrencia por GPU aumenta 4,7–7,8× y los…
- En DeepSeek-V4-Flash,el TTFT con contexto de 128K alcanza una aceleración de 5,16× y la…
- La precisión normalmente no es inferior al 95% del F1 denso.
Resumen rápido
- Publicado
- Actualizado
- Fuente
- 公众号:小红书技术(dots.llm)
- Categoría
- Productos y aplicaciones
- Puntuación IA
- 72
小红书把 KV Cache 从 token 级拆成按头分家,这个思路让长文本推理的 TTFT 和并发都有数量级提升,开源出来对做推理引擎的同学是个福音。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: El motor de inferencia RedKnot de Xiaohongshu descompone el KV Cache por cabezas de atención para acelerar textos largos. 29. junio 2026. https://new.nat6.net/es/news/cmqz49v7400e4sldyr126zupc/