RedKnot inference engine ng Xiaohongshu: Hinahati ang KV Cache ayon sa attention heads para mapabilis ang mahabang teksto
Orihinal na pamagat:让 KV Cache「按头分家」:小红书 RedKnot 如何重做长文本推理新引擎
AI summary
Hinahati ng RedKnot ang KV Cache sa dimensyon ng attention heads, at pinag-iisa ang algorithm at storage granularity sa pamamagitan ng tatlong mekanismo: head-classified sparsity (83.4%–96.8% ang mga local head), sparse FFN, at SegPagedAttention. Sa 8-card H800, umaabot sa 1.6–3.54× ang bilis ng TTFT, 4.7–7.8× ang concurrency sa isang card, at nababawasan ng 67%–79.5% ang prefill FLOPs. Sa DeepSeek-V4-Flash, umaabot sa 5.16× ang TTFT acceleration sa 128K context, at hanggang 6.3× ang natitipid sa KV transfer. Karaniwang hindi bababa sa 95% ng dense F1 ang accuracy.
Mahahalagang impormasyon
- Hinahati ng RedKnot ang KV Cache sa dimensyon ng attention heads,at pinag-iisa ang algorithm at…
- 8% ang mga local head),sparse FFN,at SegPagedAttention.
- Sa 8-card H800,umaabot sa 1.
- 54× ang bilis ng TTFT,4.
- 8× ang concurrency sa isang card,at nababawasan ng 67%–79.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- 公众号:小红书技术(dots.llm)
- Kategorya
- Mga produkto at aplikasyon
- AI na marka
- 72
小红书把 KV Cache 从 token 级拆成按头分家,这个思路让长文本推理的 TTFT 和并发都有数量级提升,开源出来对做推理引擎的同学是个福音。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: RedKnot inference engine ng Xiaohongshu: Hinahati ang KV Cache ayon sa attention heads para mapabilis ang mahabang teksto. 29 Hunyo 2026. https://new.nat6.net/fil/news/cmqz49v7400e4sldyr126zupc/