HYPIC: Xiaohongshu совместно с Пекинским университетом и SJTU представили первую систему позиционно-независимого кэширования для больших моделей со смешанным вниманием
Оригинальный заголовок:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」
ИИ-резюме
HYPIC реализовала позиционно-независимое кэширование для больших моделей со смешанным вниманием, снизив задержку первого токена в среднем в 3,25 раза. На 4 моделях производственного уровня при том же SLO устойчивый QPS вырос в 1,66 раза, а качество выполнения задач отличается от полного пересчёта всего на 1,71 балла.
Ключевые моменты
- HYPIC реализовала позиционно-независимое кэширование для больших моделей со смешанным…
- На 4 моделях производственного уровня при том же SLO устойчивый QPS вырос в 1,66 раза
- а качество выполнения задач отличается от полного пересчёта всего на 1,71 балла.
Кратко
- Опубликовано
- Обновлено
- Источник
- 公众号:小红书技术(dots.llm)
- Категория
- Статьи и исследования
- Оценка ИИ
- 77
混合注意力模型终于有了可用的位置无关缓存方案,HYPIC 用转移算子缓存和缝合窗口解决了长期兼容难题,对长上下文推理服务的加速意义重大,做推理 infra 的团队可以马上看论文和代码。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: HYPIC: Xiaohongshu совместно с Пекинским университетом и SJTU представили первую систему позиционно-независимого кэширования для больших моделей со смешанным вниманием. 16 июля 2026. https://new.nat6.net/ru/news/cmrnclu0101cgbic6rpcgkw8s/