Xiaohongshu, l'Université de Pékin et SJTU proposent HYPIC : un cache indépendant de la position pour les grands modèles à attention hybride, avec une latence du premier token réduite de 3,25 fois
Titre original:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」
Résumé IA
Xiaohongshu, l'Université de Pékin et l'Université Jiao Tong de Shanghai proposent HYPIC, le premier système de service à implémenter un cache indépendant de la position sur des grands modèles à attention hybride. Sur 4 modèles à attention hybride de niveau production et 5 charges de travail, HYPIC réduit la latence du premier token (TTFT) de 3,25 fois en moyenne et augmente le QPS soutenable de 1,66 fois à SLO égal, avec un écart de qualité de seulement 1,71 point par rapport au recalcul complet. Le système combine les états des couches linéaires en temps constant via un opérateur de transfert cumulatif des segments de cache et répare l'alignement inter-segments des couches d'attention complète grâce à une fenêtre de couture.
Points clés
- Xiaohongshu,l'Université de Pékin et l'Université Jiao Tong de Shanghai proposent HYPIC,le premier…
- Sur 4 modèles à attention hybride de niveau production et 5 charges de travail,HYPIC réduit la…
- Le système combine les états des couches linéaires en temps constant via un opérateur de transfert…
En bref
- Publié
- Mis à jour
- Source
- 公众号:小红书技术(dots.llm)
- Catégorie
- Articles et recherche
- Score IA
- 75
此前位置无关缓存无法用于混合注意力模型,HYPIC 通过缓存转移算子与缝合窗口首次实现,RAG 场景 TTFT 降低 3.25 倍,开源代码为推理系统提供了可复用的加速路径。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Xiaohongshu, l'Université de Pékin et SJTU proposent HYPIC : un cache indépendant de la position pour les grands modèles à attention hybride, avec une latence du premier token réduite de 3,25 fois. 16. juillet 2026. https://new.nat6.net/fr/news/cmsdu108a00ufrofz01bxk6m3/