Produits et applications

RedKnot, le moteur d'inférence de Xiaohongshu : décomposer le KV Cache par tête d'attention pour accélérer les longs textes

Titre original:让 KV Cache「按头分家」:小红书 RedKnot 如何重做长文本推理新引擎

Résumé IA

RedKnot décompose le KV Cache selon la dimension des têtes d'attention et unifie l'algorithme et la granularité de stockage via trois mécanismes : la classification clairsemée des têtes (les têtes locales représentent 83,4 % à 96,8 %), le FFN clairsemé et SegPagedAttention. Sur 8 cartes H800, le TTFT est accéléré jusqu'à 1,6 à 3,54 fois, la concurrence par carte augmente de 4,7 à 7,8 fois et les FLOPs de préremplissage sont réduits de 67 % à 79,5 %. Sur DeepSeek-V4-Flash, le TTFT en contexte 128K atteint une accélération de 5,16 fois et le transfert de KV économise jusqu'à 6,3 fois. La précision n'est généralement pas inférieure à 95 % du F1 dense.

Points clés

  • RedKnot décompose le KV Cache selon la dimension des têtes d'attention et unifie l'algorithme et…
  • Sur 8 cartes H800,le TTFT est accéléré jusqu'à 1,6 à 3,54 fois,la concurrence par carte augmente…
  • Sur DeepSeek-V4-Flash,le TTFT en contexte 128K atteint une accélération de 5,16 fois et le…
  • La précision n'est généralement pas inférieure à 95 % du F1 dense.

En bref

Publié
Mis à jour
Source
公众号:小红书技术(dots.llm)
Catégorie
Produits et applications
Score IA
72
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

小红书把 KV Cache 从 token 级拆成按头分家,这个思路让长文本推理的 TTFT 和并发都有数量级提升,开源出来对做推理引擎的同学是个福音。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : RedKnot, le moteur d'inférence de Xiaohongshu : décomposer le KV Cache par tête d'attention pour accélérer les longs textes. 29. juin 2026. https://new.nat6.net/fr/news/cmqz49v7400e4sldyr126zupc/

Tout voir →