Produk & Aplikasi

Enjin inferens RedKnot Xiaohongshu: pecahkan KV Cache mengikut kepala perhatian untuk percepat teks panjang

Tajuk asal:让 KV Cache「按头分家」:小红书 RedKnot 如何重做长文本推理新引擎

Ringkasan AI

RedKnot memecahkan KV Cache mengikut dimensi kepala perhatian, menyatukan algoritma dan granulariti storan melalui tiga mekanisme: sparsiti pengelasan kepala (kepala tempatan 83.4%–96.8%), FFN jarang dan SegPagedAttention. Pada 8 kad H800, TTFT dipercepat sehingga 1.6–3.54×, konkurensi kad tunggal meningkat 4.7–7.8×, FLOPs pra-pengisian dikurangkan 67%–79.5%. Pada DeepSeek-V4-Flash dengan konteks 128K, TTFT dipercepat sehingga 5.16×, pemindahan KV dijimatkan sehingga 6.3×. Ketepatan biasanya tidak lebih rendah daripada 95% F1 padat.

Maklumat penting

  • RedKnot memecahkan KV Cache mengikut dimensi kepala perhatian,menyatukan algoritma dan granulariti…
  • 8%),FFN jarang dan SegPagedAttention.
  • Pada 8 kad H800,TTFT dipercepat sehingga 1.
  • 54×,konkurensi kad tunggal meningkat 4.
  • 8×,FLOPs pra-pengisian dikurangkan 67%–79.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
公众号:小红书技术(dots.llm)
Kategori
Produk & Aplikasi
Skor AI
72
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

小红书把 KV Cache 从 token 级拆成按头分家,这个思路让长文本推理的 TTFT 和并发都有数量级提升,开源出来对做推理引擎的同学是个福音。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Enjin inferens RedKnot Xiaohongshu: pecahkan KV Cache mengikut kepala perhatian untuk percepat teks panjang. 29 Jun 2026. https://new.nat6.net/ms/news/cmqz49v7400e4sldyr126zupc/

Lihat Semua →