RedKnot-Inferenz-Engine von Xiaohongshu: KV-Cache-Aufteilung nach Attention-Heads beschleunigt Langtexte
Originaltitel:让 KV Cache「按头分家」:小红书 RedKnot 如何重做长文本推理新引擎
KI-Zusammenfassung
RedKnot zerlegt den KV-Cache entlang der Attention-Head-Dimension und vereinheitlicht Algorithmus- und Speichergranularität durch drei Mechanismen: head-klassifizierte Sparsity (lokale Heads machen 83,4–96,8 Prozent aus), sparse FFN und SegPagedAttention. Auf 8 H800-GPUs wird der TTFT um bis zu 1,6–3,54× beschleunigt, der Single-GPU-Durchsatz um 4,7–7,8× gesteigert und die Prefill-FLOPs um 67–79,5 Prozent reduziert. Bei DeepSeek-V4-Flash erreicht der TTFT bei 128K Kontext eine Beschleunigung von 5,16×, und die KV-Übertragung spart bis zu 6,3×. Die Genauigkeit liegt in der Regel nicht unter 95 Prozent des dichten F1.
Kernpunkte
- RedKnot zerlegt den KV-Cache entlang der Attention-Head-Dimension und vereinheitlicht Algorithmus-…
- Auf 8 H800-GPUs wird der TTFT um bis zu 1,6–3,54× beschleunigt,der Single-GPU-Durchsatz um…
- Bei DeepSeek-V4-Flash erreicht der TTFT bei 128K Kontext eine Beschleunigung von 5,16×,und die…
- Die Genauigkeit liegt in der Regel nicht unter 95 Prozent des dichten F1.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- 公众号:小红书技术(dots.llm)
- Kategorie
- Produkte & Apps
- KI-Bewertung
- 72
小红书把 KV Cache 从 token 级拆成按头分家,这个思路让长文本推理的 TTFT 和并发都有数量级提升,开源出来对做推理引擎的同学是个福音。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: RedKnot-Inferenz-Engine von Xiaohongshu: KV-Cache-Aufteilung nach Attention-Heads beschleunigt Langtexte. 29. Juni 2026. https://new.nat6.net/de/news/cmqz49v7400e4sldyr126zupc/