Artículos e investigación

Xiaohongshu, la Universidad de Pekín y la Universidad Jiao Tong de Shanghái proponen HYPIC, que permite caché independiente de la posición en grandes modelos de atención híbrida y reduce 3,25 veces la latencia del primer token

Título original:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」

Resumen de IA

Xiaohongshu, junto con la Universidad de Pekín y la Universidad Jiao Tong de Shanghái, propone HYPIC, el primer sistema de servicio que implementa caché independiente de la posición en grandes modelos de atención híbrida. En 4 modelos de atención híbrida de nivel de producción y 5 cargas de trabajo, HYPIC reduce de media 3,25 veces la latencia del primer token (TTFT) y aumenta 1,66 veces el QPS sostenible bajo el mismo SLO, con una diferencia de solo 1,71 puntos en calidad de tarea respecto al recálculo completo. El sistema logra la combinación de estados en tiempo constante para las capas lineales mediante un operador de transferencia acumulativa de segmentos de caché, y corrige la alineación entre segmentos de las capas de atención completa mediante ventanas de sutura.

Puntos clave

  • Xiaohongshu,junto con la Universidad de Pekín y la Universidad Jiao Tong de Shanghái,propone…
  • En 4 modelos de atención híbrida de nivel de producción y 5 cargas de trabajo,HYPIC reduce de…
  • El sistema logra la combinación de estados en tiempo constante para las capas lineales mediante un…

Resumen rápido

Publicado
Actualizado
Fuente
公众号:小红书技术(dots.llm)
Categoría
Artículos e investigación
Puntuación IA
75
Leer el original Leer el artículo completo en la fuente original
Por qué importa

此前位置无关缓存无法用于混合注意力模型,HYPIC 通过缓存转移算子与缝合窗口首次实现,RAG 场景 TTFT 降低 3.25 倍,开源代码为推理系统提供了可复用的加速路径。

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Xiaohongshu, la Universidad de Pekín y la Universidad Jiao Tong de Shanghái proponen HYPIC, que permite caché independiente de la posición en grandes modelos de atención híbrida y reduce 3,25 veces la latencia del primer token. 16. julio 2026. https://new.nat6.net/es/news/cmsdu108a00ufrofz01bxk6m3/

Ver todo →