RedKnot от Xiaohongshu: разложение KV Cache по головам внимания для ускорения длинного контекста
Оригинальный заголовок:让 KV Cache「按头分家」:小红书 RedKnot 如何重做长文本推理新引擎
ИИ-резюме
RedKnot раскладывает KV Cache по измерению голов внимания и объединяет алгоритм с гранулярностью хранения через три механизма: классификацию голов по разреженности (локальные головы — 83,4–96,8%), разреженный FFN и SegPagedAttention. На 8 GPU H800 TTFT ускоряется до 1,6–3,54×, конкурентность на одной карте растёт в 4,7–7,8 раза, FLOPs префилла сокращаются на 67–79,5%. На DeepSeek-V4-Flash при контексте 128K TTFT ускоряется до 5,16×, передача KV экономится до 6,3×. Точность обычно не ниже 95% от плотной F1.
Ключевые моменты
- RedKnot раскладывает KV Cache по измерению голов внимания и объединяет алгоритм с гранулярностью…
- На 8 GPU H800 TTFT ускоряется до 1,6–3,54×,конкурентность на одной карте растёт в 4,7–7,8…
- На DeepSeek-V4-Flash при контексте 128K TTFT ускоряется до 5,16×,передача KV экономится до 6,3×.
- Точность обычно не ниже 95% от плотной F1.
Кратко
- Опубликовано
- Обновлено
- Источник
- 公众号:小红书技术(dots.llm)
- Категория
- Продукты и приложения
- Оценка ИИ
- 72
小红书把 KV Cache 从 token 级拆成按头分家,这个思路让长文本推理的 TTFT 和并发都有数量级提升,开源出来对做推理引擎的同学是个福音。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: RedKnot от Xiaohongshu: разложение KV Cache по головам внимания для ускорения длинного контекста. 29 июня 2026. https://new.nat6.net/ru/news/cmqz49v7400e4sldyr126zupc/