Статьи и исследования

HYPIC: Xiaohongshu совместно с Пекинским университетом и SJTU представили первую систему позиционно-независимого кэширования для больших моделей со смешанным вниманием

Оригинальный заголовок:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」

ИИ-резюме

HYPIC реализовала позиционно-независимое кэширование для больших моделей со смешанным вниманием, снизив задержку первого токена в среднем в 3,25 раза. На 4 моделях производственного уровня при том же SLO устойчивый QPS вырос в 1,66 раза, а качество выполнения задач отличается от полного пересчёта всего на 1,71 балла.

Ключевые моменты

  • HYPIC реализовала позиционно-независимое кэширование для больших моделей со смешанным…
  • На 4 моделях производственного уровня при том же SLO устойчивый QPS вырос в 1,66 раза
  • а качество выполнения задач отличается от полного пересчёта всего на 1,71 балла.

Кратко

Опубликовано
Обновлено
Источник
公众号:小红书技术(dots.llm)
Категория
Статьи и исследования
Оценка ИИ
77
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

混合注意力模型终于有了可用的位置无关缓存方案,HYPIC 用转移算子缓存和缝合窗口解决了长期兼容难题,对长上下文推理服务的加速意义重大,做推理 infra 的团队可以马上看论文和代码。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: HYPIC: Xiaohongshu совместно с Пекинским университетом и SJTU представили первую систему позиционно-независимого кэширования для больших моделей со смешанным вниманием. 16 июля 2026. https://new.nat6.net/ru/news/cmrnclu0101cgbic6rpcgkw8s/

Смотреть все →