Mga produkto at aplikasyon

RedKnot inference engine ng Xiaohongshu: Hinahati ang KV Cache ayon sa attention heads para mapabilis ang mahabang teksto

Orihinal na pamagat:让 KV Cache「按头分家」:小红书 RedKnot 如何重做长文本推理新引擎

AI summary

Hinahati ng RedKnot ang KV Cache sa dimensyon ng attention heads, at pinag-iisa ang algorithm at storage granularity sa pamamagitan ng tatlong mekanismo: head-classified sparsity (83.4%–96.8% ang mga local head), sparse FFN, at SegPagedAttention. Sa 8-card H800, umaabot sa 1.6–3.54× ang bilis ng TTFT, 4.7–7.8× ang concurrency sa isang card, at nababawasan ng 67%–79.5% ang prefill FLOPs. Sa DeepSeek-V4-Flash, umaabot sa 5.16× ang TTFT acceleration sa 128K context, at hanggang 6.3× ang natitipid sa KV transfer. Karaniwang hindi bababa sa 95% ng dense F1 ang accuracy.

Mahahalagang impormasyon

  • Hinahati ng RedKnot ang KV Cache sa dimensyon ng attention heads,at pinag-iisa ang algorithm at…
  • 8% ang mga local head),sparse FFN,at SegPagedAttention.
  • Sa 8-card H800,umaabot sa 1.
  • 54× ang bilis ng TTFT,4.
  • 8× ang concurrency sa isang card,at nababawasan ng 67%–79.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
公众号:小红书技术(dots.llm)
Kategorya
Mga produkto at aplikasyon
AI na marka
72
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

小红书把 KV Cache 从 token 级拆成按头分家,这个思路让长文本推理的 TTFT 和并发都有数量级提升,开源出来对做推理引擎的同学是个福音。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: RedKnot inference engine ng Xiaohongshu: Hinahati ang KV Cache ayon sa attention heads para mapabilis ang mahabang teksto. 29 Hunyo 2026. https://new.nat6.net/fil/news/cmqz49v7400e4sldyr126zupc/

Tingnan lahat →