Mga Papel at Pananaliksik

HYPIC ng Xiaohongshu, Peking University at Shanghai Jiao Tong University: position-independent cache para sa hybrid attention large model, 3.25 beses na pagbaba ng first token latency

Orihinal na pamagat:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」

AI summary

Iminungkahi ng Xiaohongshu kasama ang Peking University at Shanghai Jiao Tong University ang HYPIC, ang unang serving system na nagpapatupad ng position-independent cache sa hybrid attention large model. Sa 4 na production-grade hybrid attention model at 5 workload, binaba ng HYPIC ang first token latency (TTFT) nang average na 3.25 beses, itinaas ang sustainable QPS ng 1.66 beses sa ilalim ng parehong SLO, at 1.71 puntos lamang ang pagkakaiba ng task quality kumpara sa buong recomputation. Nakakamit ng system ang constant-time state combination ng linear layer sa pamamagitan ng cache segment cumulative transfer operator, at inaayos ang cross-segment alignment ng full attention layer gamit ang stitching window.

Mahahalagang impormasyon

  • Iminungkahi ng Xiaohongshu kasama ang Peking University at Shanghai Jiao Tong University ang…
  • Sa 4 na production-grade hybrid attention model at 5 workload,binaba ng HYPIC ang first token…
  • 25 beses,itinaas ang sustainable QPS ng 1.
  • 66 beses sa ilalim ng parehong SLO,at 1.
  • 71 puntos lamang ang pagkakaiba ng task quality kumpara sa buong recomputation.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
公众号:小红书技术(dots.llm)
Kategorya
Mga Papel at Pananaliksik
AI na marka
75
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

此前位置无关缓存无法用于混合注意力模型,HYPIC 通过缓存转移算子与缝合窗口首次实现,RAG 场景 TTFT 降低 3.25 倍,开源代码为推理系统提供了可复用的加速路径。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: HYPIC ng Xiaohongshu, Peking University at Shanghai Jiao Tong University: position-independent cache para sa hybrid attention large model, 3.25 beses na pagbaba ng first token latency. 16 Hulyo 2026. https://new.nat6.net/fil/news/cmsdu108a00ufrofz01bxk6m3/

Tingnan lahat →