論文・研究

統一Radixキャッシュ:ハイブリッドモデルのプレフィックスキャッシュ向けに単一ツリー構造を構築

原題:Blog Unified Radix Cache: One Tree for Hybrid Model Prefix Caching Prefix caching reuses KV when requests share the same token prefix. Under full attention, once the KV for a shared prefix is computed, it remains valid as more tokens are appended. A later request wit... Zhangheng Huang, Ke Bao, Yi Zhang, Jialin Ouyang, Sicheng Pan

AI 要約

LMSYSチームはUnified Radix Cacheを提案した。単一のトークンキー付きradixトポロジーでハイブリッドモデルのFULL、SWA、MAMBAコンポーネントのキャッシュを統合管理し、各コンポーネントが独立してパス実行、スライディングウィンドウ、チェックポイント再利用のセマンティクスを実行する。

要点

  • LMSYSチームはUnified Radix Cacheを提案した。
  • 単一のトークンキー付きradixトポロジーでハイブリッドモデルのFULL、MAMBAコンポーネントのキャッシュを統合管理し
  • 各コンポーネントが独立してパス実行、スライディングウィンドウ、チェックポイント再利用のセマンティクスを実行する

概要

公開日時
更新日時
出典
LMSYS Blog
カテゴリ
論文・研究
AI スコア
72
原文を読む 情報源で全文を読む
おすすめの理由

传统做法需为每种注意力组合实现独立缓存,本文以统一基树和组件钩子将复用规则解耦,SWE-bench上TTFT降低最高16.6%。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:統一Radixキャッシュ:ハイブリッドモデルのプレフィックスキャッシュ向けに単一ツリー構造を構築。2026年8月11日。https://new.nat6.net/ja/news/cmsopyoum028vrohd4dgeksz9/

すべて見る →