Produk & Aplikasi

Mesin penalaran RedKnot Xiaohongshu: Memecah KV Cache per kepala atensi untuk mempercepat teks panjang

Judul asli:让 KV Cache「按头分家」:小红书 RedKnot 如何重做长文本推理新引擎

Ringkasan AI

RedKnot memecah KV Cache sepanjang dimensi kepala atensi, menyatukan algoritma dan granularitas penyimpanan melalui tiga mekanisme: sparsitas klasifikasi kepala (kepala lokal 83,4%–96,8%), FFN sparse, dan SegPagedAttention. Pada 8 GPU H800, TTFT memperoleh percepatan hingga 1,6–3,54×, konkurensi per GPU meningkat 4,7–7,8×, dan FLOPs pra-pengisian berkurang 67%–79,5%. Pada DeepSeek-V4-Flash dengan konteks 128K, TTFT mencapai percepatan 5,16×, dan transfer KV menghemat hingga 6,3×. Akurasi umumnya tidak lebih rendah dari 95% F1 padat.

Poin utama

  • RedKnot memecah KV Cache sepanjang dimensi kepala atensi,menyatukan algoritma dan granularitas…
  • Pada 8 GPU H800,TTFT memperoleh percepatan hingga 1,6–3,54×,konkurensi per GPU meningkat…
  • Pada DeepSeek-V4-Flash dengan konteks 128K,TTFT mencapai percepatan 5,16×,dan transfer KV…
  • Akurasi umumnya tidak lebih rendah dari 95% F1 padat.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
公众号:小红书技术(dots.llm)
Kategori
Produk & Aplikasi
Skor AI
72
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

小红书把 KV Cache 从 token 级拆成按头分家,这个思路让长文本推理的 TTFT 和并发都有数量级提升,开源出来对做推理引擎的同学是个福音。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Mesin penalaran RedKnot Xiaohongshu: Memecah KV Cache per kepala atensi untuk mempercepat teks panjang. 29 Juni 2026. https://new.nat6.net/id/news/cmqz49v7400e4sldyr126zupc/

Lihat semua →