Stochastic KV Routing: адаптивное совместное использование кэша по глубине модели
Оригинальный заголовок:Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing
ИИ-резюме
Для снижения высоких затрат памяти на KV-кэш при выводе больших языковых моделей исследователи предложили новый метод, оптимизированный по измерению глубины модели. Метод за счёт стохастической маршрутизации KV динамически разделяет KV-кэш между слоями модели Transformer, а не хранит полный независимый кэш на каждом слое. Эксперименты показывают, что при практически неизменном качестве модели метод позволяет сократить объём памяти KV-кэша до 50%, предлагая новый путь оптимизации, ортогональный существующим методам сжатия и вытеснения по временной оси, для снижения стоимости обслуживания больших моделей.
Ключевые моменты
- Для снижения высоких затрат памяти на KV-кэш при выводе больших языковых моделей исследователи…
- Метод за счёт стохастической маршрутизации KV динамически разделяет KV-кэш между слоями модели…
- Эксперименты показывают,что при практически неизменном качестве модели метод позволяет сократить…
Кратко
- Опубликовано
- Обновлено
- Источник
- Apple Machine Learning Research(RSS)
- Категория
- Статьи и исследования
- Оценка ИИ
- 59
苹果这篇不走寻常路,从深度维度压缩KV缓存,是推理服务端降本的新思路,做LLM部署的值得一读。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Stochastic KV Routing: адаптивное совместное использование кэша по глубине модели. 5 мая 2026. https://new.nat6.net/ru/news/cmot2xtld01vvslv77sxlkqqk/