Продукты и приложения

RedKnot от Xiaohongshu: разложение KV Cache по головам внимания для ускорения длинного контекста

Оригинальный заголовок:让 KV Cache「按头分家」:小红书 RedKnot 如何重做长文本推理新引擎

ИИ-резюме

RedKnot раскладывает KV Cache по измерению голов внимания и объединяет алгоритм с гранулярностью хранения через три механизма: классификацию голов по разреженности (локальные головы — 83,4–96,8%), разреженный FFN и SegPagedAttention. На 8 GPU H800 TTFT ускоряется до 1,6–3,54×, конкурентность на одной карте растёт в 4,7–7,8 раза, FLOPs префилла сокращаются на 67–79,5%. На DeepSeek-V4-Flash при контексте 128K TTFT ускоряется до 5,16×, передача KV экономится до 6,3×. Точность обычно не ниже 95% от плотной F1.

Ключевые моменты

  • RedKnot раскладывает KV Cache по измерению голов внимания и объединяет алгоритм с гранулярностью…
  • На 8 GPU H800 TTFT ускоряется до 1,6–3,54×,конкурентность на одной карте растёт в 4,7–7,8…
  • На DeepSeek-V4-Flash при контексте 128K TTFT ускоряется до 5,16×,передача KV экономится до 6,3×.
  • Точность обычно не ниже 95% от плотной F1.

Кратко

Опубликовано
Обновлено
Источник
公众号:小红书技术(dots.llm)
Категория
Продукты и приложения
Оценка ИИ
72
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

小红书把 KV Cache 从 token 级拆成按头分家,这个思路让长文本推理的 TTFT 和并发都有数量级提升,开源出来对做推理引擎的同学是个福音。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: RedKnot от Xiaohongshu: разложение KV Cache по головам внимания для ускорения длинного контекста. 29 июня 2026. https://new.nat6.net/ru/news/cmqz49v7400e4sldyr126zupc/

Смотреть все →