Статьи и исследования

Xiaohongshu совместно с Пекинским университетом и Шанхайским университетом Цзяо Тун предложила HYPIC: кэш, не зависящий от позиции, для больших моделей со смешанным вниманием снижает задержку первого токена в 3,25 раза

Оригинальный заголовок:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」

ИИ-резюме

Xiaohongshu совместно с Пекинским университетом и Шанхайским университетом Цзяо Тун предложила HYPIC — первую сервисную систему, реализующую кэш, не зависящий от позиции, на больших моделях со смешанным вниманием. На 4 производственных моделях со смешанным вниманием и 5 рабочих нагрузках HYPIC снижает задержку первого токена (TTFT) в среднем в 3,25 раза, повышает устойчивый QPS при том же SLO в 1,66 раза, а качество задач отличается от полного пересчёта лишь на 1,71 балла. Система реализует объединение состояний линейных слоёв за константное время через оператор накопленного переноса сегментов кэша и исправляет межсегментное выравнивание слоёв полного внимания с помощью сшивающих окон.

Ключевые моменты

  • Xiaohongshu совместно с Пекинским университетом и Шанхайским университетом Цзяо Тун предложила…
  • На 4 производственных моделях со смешанным вниманием и 5 рабочих нагрузках HYPIC снижает задержку…
  • Система реализует объединение состояний линейных слоёв за константное время через оператор…

Кратко

Опубликовано
Обновлено
Источник
公众号:小红书技术(dots.llm)
Категория
Статьи и исследования
Оценка ИИ
75
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

此前位置无关缓存无法用于混合注意力模型,HYPIC 通过缓存转移算子与缝合窗口首次实现,RAG 场景 TTFT 降低 3.25 倍,开源代码为推理系统提供了可复用的加速路径。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Xiaohongshu совместно с Пекинским университетом и Шанхайским университетом Цзяо Тун предложила HYPIC: кэш, не зависящий от позиции, для больших моделей со смешанным вниманием снижает задержку первого токена в 3,25 раза. 16 июля 2026. https://new.nat6.net/ru/news/cmsdu108a00ufrofz01bxk6m3/

Смотреть все →