小紅書RedKnot推論エンジン:KV Cacheをアテンションヘッドごとに分解し長文テキストを高速化
原題:让 KV Cache「按头分家」:小红书 RedKnot 如何重做长文本推理新引擎
AI 要約
RedKnotはKV Cacheをアテンションヘッドの次元に沿って分解し、ヘッド分類スパース(ローカルヘッドが83.4%〜96.8%)、スパースFFN、SegPagedAttentionの3つのメカニズムでアルゴリズムとストレージの粒度を統一した。8基のH800で、TTFTは最大1.6〜3.54倍高速化し、単カードの同時実行数は4.7〜7.8倍に向上し、プリフィルFLOPsは67%〜79.5%削減された。DeepSeek-V4-Flashでは128KコンテキストのTTFT加速が5.16倍に達し、KV転送は最大6.3倍節約できる。精度は通常、稠密F1の95%を下回らない。
要点
- RedKnotはKV Cacheをアテンションヘッドの次元に沿って分解し、ヘッド分類スパース(ローカルヘッドが83.
- 8%)、スパースFFN、SegPagedAttentionの3つのメカニズムでアルゴリズムとストレージの粒度を統一した。
- 8基のH800で、TTFTは最大1.
- 54倍高速化し、単カードの同時実行数は4.
- 8倍に向上し、プリフィルFLOPsは67%〜79.
概要
- 公開日時
- 更新日時
- カテゴリ
- 製品とアプリ
- AI スコア
- 72
おすすめの理由
小红书把 KV Cache 从 token 级拆成按头分家,这个思路让长文本推理的 TTFT 和并发都有数量级提升,开源出来对做推理引擎的同学是个福音。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:小紅書RedKnot推論エンジン:KV Cacheをアテンションヘッドごとに分解し長文テキストを高速化。2026年6月29日。https://new.nat6.net/ja/news/cmqz49v7400e4sldyr126zupc/