ผลิตภัณฑ์และแอป

RedKnot ของ Xiaohongshu: เอนจินอนุมานที่แยก KV Cache ตาม attention head เพื่อเร่งข้อความยาว

หัวข้อต้นฉบับ:让 KV Cache「按头分家」:小红书 RedKnot 如何重做长文本推理新引擎

สรุปโดย AI

RedKnot แยก KV Cache ตามมิติ attention head โดยรวมอัลกอริทึมและระดับการจัดเก็บผ่านสามกลไก ได้แก่ การทำให้เบาบางแบบแยกประเภทหัว (head ท้องถิ่นคิดเป็น 83.4%–96.8%) FFN แบบเบาบาง และ SegPagedAttention บน H800 8 การ์ด TTFT เร่งได้สูงสุด 1.6–3.54 เท่า ความสามารถพร้อมกันต่อการ์ดเพิ่มขึ้น 4.7–7.8 เท่า และ FLOPs ของ prefilling ลดลง 67%–79.5% บน DeepSeek-V4-Flash บริบท 128K TTFT เร่งได้ถึง 5.16 เท่า และการถ่ายโอน KV ประหยัดได้สูงสุด 6.3 เท่า ความแม่นยำโดยทั่วไปไม่ต่ำกว่า 95% ของ dense F1

ข้อมูลสำคัญ

  • RedKnot แยก KV Cache ตามมิติ attention head โดยรวมอัลกอริทึมและระดับการจัดเก็บผ่านสามกลไก ได้แก่…
  • 8%) FFN แบบเบาบาง และ SegPagedAttention บน H800 8 การ์ด TTFT เร่งได้สูงสุด 1.
  • 54 เท่า ความสามารถพร้อมกันต่อการ์ดเพิ่มขึ้น 4.
  • 8 เท่า และ FLOPs ของ prefilling ลดลง 67%–79.
  • 5% บน DeepSeek-V4-Flash บริบท 128K TTFT เร่งได้ถึง 5.

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
公众号:小红书技术(dots.llm)
หมวดหมู่
ผลิตภัณฑ์และแอป
คะแนน AI
72
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

小红书把 KV Cache 从 token 级拆成按头分家,这个思路让长文本推理的 TTFT 和并发都有数量级提升,开源出来对做推理引擎的同学是个福音。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: RedKnot ของ Xiaohongshu: เอนจินอนุมานที่แยก KV Cache ตาม attention head เพื่อเร่งข้อความยาว 29 มิถุนายน 2026 https://new.nat6.net/th/news/cmqz49v7400e4sldyr126zupc/

ดูทั้งหมด →