HYPIC ng Xiaohongshu, Peking University at Shanghai Jiao Tong University: position-independent cache para sa hybrid attention large model, 3.25 beses na pagbaba ng first token latency
Orihinal na pamagat:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」
AI summary
Iminungkahi ng Xiaohongshu kasama ang Peking University at Shanghai Jiao Tong University ang HYPIC, ang unang serving system na nagpapatupad ng position-independent cache sa hybrid attention large model. Sa 4 na production-grade hybrid attention model at 5 workload, binaba ng HYPIC ang first token latency (TTFT) nang average na 3.25 beses, itinaas ang sustainable QPS ng 1.66 beses sa ilalim ng parehong SLO, at 1.71 puntos lamang ang pagkakaiba ng task quality kumpara sa buong recomputation. Nakakamit ng system ang constant-time state combination ng linear layer sa pamamagitan ng cache segment cumulative transfer operator, at inaayos ang cross-segment alignment ng full attention layer gamit ang stitching window.
Mahahalagang impormasyon
- Iminungkahi ng Xiaohongshu kasama ang Peking University at Shanghai Jiao Tong University ang…
- Sa 4 na production-grade hybrid attention model at 5 workload,binaba ng HYPIC ang first token…
- 25 beses,itinaas ang sustainable QPS ng 1.
- 66 beses sa ilalim ng parehong SLO,at 1.
- 71 puntos lamang ang pagkakaiba ng task quality kumpara sa buong recomputation.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- 公众号:小红书技术(dots.llm)
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 75
此前位置无关缓存无法用于混合注意力模型,HYPIC 通过缓存转移算子与缝合窗口首次实现,RAG 场景 TTFT 降低 3.25 倍,开源代码为推理系统提供了可复用的加速路径。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: HYPIC ng Xiaohongshu, Peking University at Shanghai Jiao Tong University: position-independent cache para sa hybrid attention large model, 3.25 beses na pagbaba ng first token latency. 16 Hulyo 2026. https://new.nat6.net/fil/news/cmsdu108a00ufrofz01bxk6m3/