Унифицированный Radix-кэш: единая древовидная структура для префиксного кэширования гибридных моделей
Оригинальный заголовок:Blog Unified Radix Cache: One Tree for Hybrid Model Prefix Caching Prefix caching reuses KV when requests share the same token prefix. Under full attention, once the KV for a shared prefix is computed, it remains valid as more tokens are appended. A later request wit... Zhangheng Huang, Ke Bao, Yi Zhang, Jialin Ouyang, Sicheng Pan
ИИ-резюме
Команда LMSYS предложила Unified Radix Cache — единую radix-топологию с ключом по токенам для унифицированного управления кэшем компонентов FULL, SWA и MAMBA гибридных моделей, где каждый компонент независимо реализует семантику путей, скользящего окна и повторного использования контрольных точек.
Ключевые моменты
- Команда LMSYS предложила Unified Radix Cache — единую radix-топологию с ключом по токенам для…
- SWA и MAMBA гибридных моделей
- где каждый компонент независимо реализует семантику путей,скользящего окна и повторного…
Кратко
- Опубликовано
- Обновлено
- Источник
- LMSYS Blog
- Категория
- Статьи и исследования
- Оценка ИИ
- 72
传统做法需为每种注意力组合实现独立缓存,本文以统一基树和组件钩子将复用规则解耦,SWE-bench上TTFT降低最高16.6%。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Унифицированный Radix-кэш: единая древовидная структура для префиксного кэширования гибридных моделей. 11 августа 2026. https://new.nat6.net/ru/news/cmsopyoum028vrohd4dgeksz9/