HYPIC : Xiaohongshu, avec Peking University et SJTU, présente le premier système de cache indépendant de la position pour grands modèles à attention hybride
Titre original:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」
Résumé IA
HYPIC réalise un cache indépendant de la position sur les grands modèles à attention hybride, réduisant en moyenne de 3,25 fois la latence du premier token. Sur 4 modèles de niveau production, le QPS soutenable augmente de 1,66 fois à SLO égal, avec un écart de qualité de tâche de seulement 1,71 point par rapport au recalcul complet.
Points clés
- HYPIC réalise un cache indépendant de la position sur les grands modèles à attention…
- Sur 4 modèles de niveau production,le QPS soutenable augmente de 1,66 fois à SLO égal,avec un…
- 71 point par rapport au recalcul complet.
En bref
- Publié
- Mis à jour
- Source
- 公众号:小红书技术(dots.llm)
- Catégorie
- Articles et recherche
- Score IA
- 77
混合注意力模型终于有了可用的位置无关缓存方案,HYPIC 用转移算子缓存和缝合窗口解决了长期兼容难题,对长上下文推理服务的加速意义重大,做推理 infra 的团队可以马上看论文和代码。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : HYPIC : Xiaohongshu, avec Peking University et SJTU, présente le premier système de cache indépendant de la position pour grands modèles à attention hybride. 16. juillet 2026. https://new.nat6.net/fr/news/cmrnclu0101cgbic6rpcgkw8s/