製品とアプリ

小紅書RedKnot推論エンジン:KV Cacheをアテンションヘッドごとに分解し長文テキストを高速化

原題:让 KV Cache「按头分家」:小红书 RedKnot 如何重做长文本推理新引擎

AI 要約

RedKnotはKV Cacheをアテンションヘッドの次元に沿って分解し、ヘッド分類スパース(ローカルヘッドが83.4%〜96.8%)、スパースFFN、SegPagedAttentionの3つのメカニズムでアルゴリズムとストレージの粒度を統一した。8基のH800で、TTFTは最大1.6〜3.54倍高速化し、単カードの同時実行数は4.7〜7.8倍に向上し、プリフィルFLOPsは67%〜79.5%削減された。DeepSeek-V4-Flashでは128KコンテキストのTTFT加速が5.16倍に達し、KV転送は最大6.3倍節約できる。精度は通常、稠密F1の95%を下回らない。

要点

  • RedKnotはKV Cacheをアテンションヘッドの次元に沿って分解し、ヘッド分類スパース(ローカルヘッドが83.
  • 8%)、スパースFFN、SegPagedAttentionの3つのメカニズムでアルゴリズムとストレージの粒度を統一した。
  • 8基のH800で、TTFTは最大1.
  • 54倍高速化し、単カードの同時実行数は4.
  • 8倍に向上し、プリフィルFLOPsは67%〜79.

概要

公開日時
更新日時
出典
公众号:小红书技术(dots.llm)
カテゴリ
製品とアプリ
AI スコア
72
原文を読む 情報源で全文を読む
おすすめの理由

小红书把 KV Cache 从 token 级拆成按头分家,这个思路让长文本推理的 TTFT 和并发都有数量级提升,开源出来对做推理引擎的同学是个福音。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:小紅書RedKnot推論エンジン:KV Cacheをアテンションヘッドごとに分解し長文テキストを高速化。2026年6月29日。https://new.nat6.net/ja/news/cmqz49v7400e4sldyr126zupc/

すべて見る →