Productos y aplicaciones

El motor de inferencia RedKnot de Xiaohongshu descompone el KV Cache por cabezas de atención para acelerar textos largos

Título original:让 KV Cache「按头分家」:小红书 RedKnot 如何重做长文本推理新引擎

Resumen de IA

RedKnot descompone el KV Cache a lo largo de la dimensión de cabezas de atención y unifica algoritmo y granularidad de almacenamiento mediante tres mecanismos: dispersión por clasificación de cabezas (las cabezas locales representan el 83,4%–96,8%), FFN disperso y SegPagedAttention. En 8 GPU H800, el TTFT se acelera hasta 1,6–3,54×, la concurrencia por GPU aumenta 4,7–7,8× y los FLOPs de prefill se reducen entre un 67% y un 79,5%. En DeepSeek-V4-Flash, el TTFT con contexto de 128K alcanza una aceleración de 5,16× y la transferencia de KV se reduce hasta 6,3×. La precisión normalmente no es inferior al 95% del F1 denso.

Puntos clave

  • RedKnot descompone el KV Cache a lo largo de la dimensión de cabezas de atención y unifica…
  • En 8 GPU H800,el TTFT se acelera hasta 1,6–3,54×,la concurrencia por GPU aumenta 4,7–7,8× y los…
  • En DeepSeek-V4-Flash,el TTFT con contexto de 128K alcanza una aceleración de 5,16× y la…
  • La precisión normalmente no es inferior al 95% del F1 denso.

Resumen rápido

Publicado
Actualizado
Fuente
公众号:小红书技术(dots.llm)
Categoría
Productos y aplicaciones
Puntuación IA
72
Leer el original Leer el artículo completo en la fuente original
Por qué importa

小红书把 KV Cache 从 token 级拆成按头分家,这个思路让长文本推理的 TTFT 和并发都有数量级提升,开源出来对做推理引擎的同学是个福音。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: El motor de inferencia RedKnot de Xiaohongshu descompone el KV Cache por cabezas de atención para acelerar textos largos. 29. junio 2026. https://new.nat6.net/es/news/cmqz49v7400e4sldyr126zupc/

Ver todo →