RedKnot, le moteur d'inférence de Xiaohongshu : décomposer le KV Cache par tête d'attention pour accélérer les longs textes
Titre original:让 KV Cache「按头分家」:小红书 RedKnot 如何重做长文本推理新引擎
Résumé IA
RedKnot décompose le KV Cache selon la dimension des têtes d'attention et unifie l'algorithme et la granularité de stockage via trois mécanismes : la classification clairsemée des têtes (les têtes locales représentent 83,4 % à 96,8 %), le FFN clairsemé et SegPagedAttention. Sur 8 cartes H800, le TTFT est accéléré jusqu'à 1,6 à 3,54 fois, la concurrence par carte augmente de 4,7 à 7,8 fois et les FLOPs de préremplissage sont réduits de 67 % à 79,5 %. Sur DeepSeek-V4-Flash, le TTFT en contexte 128K atteint une accélération de 5,16 fois et le transfert de KV économise jusqu'à 6,3 fois. La précision n'est généralement pas inférieure à 95 % du F1 dense.
Points clés
- RedKnot décompose le KV Cache selon la dimension des têtes d'attention et unifie l'algorithme et…
- Sur 8 cartes H800,le TTFT est accéléré jusqu'à 1,6 à 3,54 fois,la concurrence par carte augmente…
- Sur DeepSeek-V4-Flash,le TTFT en contexte 128K atteint une accélération de 5,16 fois et le…
- La précision n'est généralement pas inférieure à 95 % du F1 dense.
En bref
- Publié
- Mis à jour
- Source
- 公众号:小红书技术(dots.llm)
- Catégorie
- Produits et applications
- Score IA
- 72
小红书把 KV Cache 从 token 级拆成按头分家,这个思路让长文本推理的 TTFT 和并发都有数量级提升,开源出来对做推理引擎的同学是个福音。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : RedKnot, le moteur d'inférence de Xiaohongshu : décomposer le KV Cache par tête d'attention pour accélérer les longs textes. 29. juin 2026. https://new.nat6.net/fr/news/cmqz49v7400e4sldyr126zupc/