Статьи и исследования

Унифицированный Radix-кэш: единая древовидная структура для префиксного кэширования гибридных моделей

Оригинальный заголовок:Blog Unified Radix Cache: One Tree for Hybrid Model Prefix Caching Prefix caching reuses KV when requests share the same token prefix. Under full attention, once the KV for a shared prefix is computed, it remains valid as more tokens are appended. A later request wit... Zhangheng Huang, Ke Bao, Yi Zhang, Jialin Ouyang, Sicheng Pan

ИИ-резюме

Команда LMSYS предложила Unified Radix Cache — единую radix-топологию с ключом по токенам для унифицированного управления кэшем компонентов FULL, SWA и MAMBA гибридных моделей, где каждый компонент независимо реализует семантику путей, скользящего окна и повторного использования контрольных точек.

Ключевые моменты

  • Команда LMSYS предложила Unified Radix Cache — единую radix-топологию с ключом по токенам для…
  • SWA и MAMBA гибридных моделей
  • где каждый компонент независимо реализует семантику путей,скользящего окна и повторного…

Кратко

Опубликовано
Обновлено
Источник
LMSYS Blog
Категория
Статьи и исследования
Оценка ИИ
72
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

传统做法需为每种注意力组合实现独立缓存,本文以统一基树和组件钩子将复用规则解耦,SWE-bench上TTFT降低最高16.6%。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Унифицированный Radix-кэш: единая древовидная структура для префиксного кэширования гибридных моделей. 11 августа 2026. https://new.nat6.net/ru/news/cmsopyoum028vrohd4dgeksz9/

Смотреть все →