Xiaohongshu совместно с Пекинским университетом и Шанхайским университетом Цзяо Тун предложила HYPIC: кэш, не зависящий от позиции, для больших моделей со смешанным вниманием снижает задержку первого токена в 3,25 раза
Оригинальный заголовок:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」
ИИ-резюме
Xiaohongshu совместно с Пекинским университетом и Шанхайским университетом Цзяо Тун предложила HYPIC — первую сервисную систему, реализующую кэш, не зависящий от позиции, на больших моделях со смешанным вниманием. На 4 производственных моделях со смешанным вниманием и 5 рабочих нагрузках HYPIC снижает задержку первого токена (TTFT) в среднем в 3,25 раза, повышает устойчивый QPS при том же SLO в 1,66 раза, а качество задач отличается от полного пересчёта лишь на 1,71 балла. Система реализует объединение состояний линейных слоёв за константное время через оператор накопленного переноса сегментов кэша и исправляет межсегментное выравнивание слоёв полного внимания с помощью сшивающих окон.
Ключевые моменты
- Xiaohongshu совместно с Пекинским университетом и Шанхайским университетом Цзяо Тун предложила…
- На 4 производственных моделях со смешанным вниманием и 5 рабочих нагрузках HYPIC снижает задержку…
- Система реализует объединение состояний линейных слоёв за константное время через оператор…
Кратко
- Опубликовано
- Обновлено
- Источник
- 公众号:小红书技术(dots.llm)
- Категория
- Статьи и исследования
- Оценка ИИ
- 75
此前位置无关缓存无法用于混合注意力模型,HYPIC 通过缓存转移算子与缝合窗口首次实现,RAG 场景 TTFT 降低 3.25 倍,开源代码为推理系统提供了可复用的加速路径。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Xiaohongshu совместно с Пекинским университетом и Шанхайским университетом Цзяо Тун предложила HYPIC: кэш, не зависящий от позиции, для больших моделей со смешанным вниманием снижает задержку первого токена в 3,25 раза. 16 июля 2026. https://new.nat6.net/ru/news/cmsdu108a00ufrofz01bxk6m3/