Статьи и исследования

Stochastic KV Routing: адаптивное совместное использование кэша по глубине модели

Оригинальный заголовок:Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing

ИИ-резюме

Для снижения высоких затрат памяти на KV-кэш при выводе больших языковых моделей исследователи предложили новый метод, оптимизированный по измерению глубины модели. Метод за счёт стохастической маршрутизации KV динамически разделяет KV-кэш между слоями модели Transformer, а не хранит полный независимый кэш на каждом слое. Эксперименты показывают, что при практически неизменном качестве модели метод позволяет сократить объём памяти KV-кэша до 50%, предлагая новый путь оптимизации, ортогональный существующим методам сжатия и вытеснения по временной оси, для снижения стоимости обслуживания больших моделей.

Ключевые моменты

  • Для снижения высоких затрат памяти на KV-кэш при выводе больших языковых моделей исследователи…
  • Метод за счёт стохастической маршрутизации KV динамически разделяет KV-кэш между слоями модели…
  • Эксперименты показывают,что при практически неизменном качестве модели метод позволяет сократить…

Кратко

Опубликовано
Обновлено
Источник
Apple Machine Learning Research(RSS)
Категория
Статьи и исследования
Оценка ИИ
59
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

苹果这篇不走寻常路,从深度维度压缩KV缓存,是推理服务端降本的新思路,做LLM部署的值得一读。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Stochastic KV Routing: адаптивное совместное использование кэша по глубине модели. 5 мая 2026. https://new.nat6.net/ru/news/cmot2xtld01vvslv77sxlkqqk/

Смотреть все →