Enjin inferens RedKnot Xiaohongshu: pecahkan KV Cache mengikut kepala perhatian untuk percepat teks panjang
Tajuk asal:让 KV Cache「按头分家」:小红书 RedKnot 如何重做长文本推理新引擎
Ringkasan AI
RedKnot memecahkan KV Cache mengikut dimensi kepala perhatian, menyatukan algoritma dan granulariti storan melalui tiga mekanisme: sparsiti pengelasan kepala (kepala tempatan 83.4%–96.8%), FFN jarang dan SegPagedAttention. Pada 8 kad H800, TTFT dipercepat sehingga 1.6–3.54×, konkurensi kad tunggal meningkat 4.7–7.8×, FLOPs pra-pengisian dikurangkan 67%–79.5%. Pada DeepSeek-V4-Flash dengan konteks 128K, TTFT dipercepat sehingga 5.16×, pemindahan KV dijimatkan sehingga 6.3×. Ketepatan biasanya tidak lebih rendah daripada 95% F1 padat.
Maklumat penting
- RedKnot memecahkan KV Cache mengikut dimensi kepala perhatian,menyatukan algoritma dan granulariti…
- 8%),FFN jarang dan SegPagedAttention.
- Pada 8 kad H800,TTFT dipercepat sehingga 1.
- 54×,konkurensi kad tunggal meningkat 4.
- 8×,FLOPs pra-pengisian dikurangkan 67%–79.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- 公众号:小红书技术(dots.llm)
- Kategori
- Produk & Aplikasi
- Skor AI
- 72
小红书把 KV Cache 从 token 级拆成按头分家,这个思路让长文本推理的 TTFT 和并发都有数量级提升,开源出来对做推理引擎的同学是个福音。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Enjin inferens RedKnot Xiaohongshu: pecahkan KV Cache mengikut kepala perhatian untuk percepat teks panjang. 29 Jun 2026. https://new.nat6.net/ms/news/cmqz49v7400e4sldyr126zupc/