Mga Papel at Pananaliksik

HYPIC: unang position-independent caching system para sa hybrid attention large models ng Xiaohongshu, PKU at SJTU

Orihinal na pamagat:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」

AI summary

Nakamit ng HYPIC ang position-independent caching sa hybrid attention large models, na nagpababa sa first-token latency nang average na 3.25 beses. Sa 4 na production-grade models, tumaas ang sustainable QPS nang 1.66 beses sa ilalim ng parehong SLO, at 1.71 puntos lamang ang pagkakaiba ng task quality kumpara sa full recomputation.

Mahahalagang impormasyon

  • Nakamit ng HYPIC ang position-independent caching sa hybrid attention large models,na nagpababa sa…
  • 25 beses.
  • Sa 4 na production-grade models,tumaas ang sustainable QPS nang 1.
  • 66 beses sa ilalim ng parehong SLO,at 1.
  • 71 puntos lamang ang pagkakaiba ng task quality kumpara sa full recomputation.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
公众号:小红书技术(dots.llm)
Kategorya
Mga Papel at Pananaliksik
AI na marka
77
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

混合注意力模型终于有了可用的位置无关缓存方案,HYPIC 用转移算子缓存和缝合窗口解决了长期兼容难题,对长上下文推理服务的加速意义重大,做推理 infra 的团队可以马上看论文和代码。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: HYPIC: unang position-independent caching system para sa hybrid attention large models ng Xiaohongshu, PKU at SJTU. 16 Hulyo 2026. https://new.nat6.net/fil/news/cmrnclu0101cgbic6rpcgkw8s/

Tingnan lahat →