Mesin penalaran RedKnot Xiaohongshu: Memecah KV Cache per kepala atensi untuk mempercepat teks panjang
Judul asli:让 KV Cache「按头分家」:小红书 RedKnot 如何重做长文本推理新引擎
Ringkasan AI
RedKnot memecah KV Cache sepanjang dimensi kepala atensi, menyatukan algoritma dan granularitas penyimpanan melalui tiga mekanisme: sparsitas klasifikasi kepala (kepala lokal 83,4%–96,8%), FFN sparse, dan SegPagedAttention. Pada 8 GPU H800, TTFT memperoleh percepatan hingga 1,6–3,54×, konkurensi per GPU meningkat 4,7–7,8×, dan FLOPs pra-pengisian berkurang 67%–79,5%. Pada DeepSeek-V4-Flash dengan konteks 128K, TTFT mencapai percepatan 5,16×, dan transfer KV menghemat hingga 6,3×. Akurasi umumnya tidak lebih rendah dari 95% F1 padat.
Poin utama
- RedKnot memecah KV Cache sepanjang dimensi kepala atensi,menyatukan algoritma dan granularitas…
- Pada 8 GPU H800,TTFT memperoleh percepatan hingga 1,6–3,54×,konkurensi per GPU meningkat…
- Pada DeepSeek-V4-Flash dengan konteks 128K,TTFT mencapai percepatan 5,16×,dan transfer KV…
- Akurasi umumnya tidak lebih rendah dari 95% F1 padat.
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- 公众号:小红书技术(dots.llm)
- Kategori
- Produk & Aplikasi
- Skor AI
- 72
小红书把 KV Cache 从 token 级拆成按头分家,这个思路让长文本推理的 TTFT 和并发都有数量级提升,开源出来对做推理引擎的同学是个福音。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Mesin penalaran RedKnot Xiaohongshu: Memecah KV Cache per kepala atensi untuk mempercepat teks panjang. 29 Juni 2026. https://new.nat6.net/id/news/cmqz49v7400e4sldyr126zupc/