RedKnot ของ Xiaohongshu: เอนจินอนุมานที่แยก KV Cache ตาม attention head เพื่อเร่งข้อความยาว
หัวข้อต้นฉบับ:让 KV Cache「按头分家」:小红书 RedKnot 如何重做长文本推理新引擎
สรุปโดย AI
RedKnot แยก KV Cache ตามมิติ attention head โดยรวมอัลกอริทึมและระดับการจัดเก็บผ่านสามกลไก ได้แก่ การทำให้เบาบางแบบแยกประเภทหัว (head ท้องถิ่นคิดเป็น 83.4%–96.8%) FFN แบบเบาบาง และ SegPagedAttention บน H800 8 การ์ด TTFT เร่งได้สูงสุด 1.6–3.54 เท่า ความสามารถพร้อมกันต่อการ์ดเพิ่มขึ้น 4.7–7.8 เท่า และ FLOPs ของ prefilling ลดลง 67%–79.5% บน DeepSeek-V4-Flash บริบท 128K TTFT เร่งได้ถึง 5.16 เท่า และการถ่ายโอน KV ประหยัดได้สูงสุด 6.3 เท่า ความแม่นยำโดยทั่วไปไม่ต่ำกว่า 95% ของ dense F1
ข้อมูลสำคัญ
- RedKnot แยก KV Cache ตามมิติ attention head โดยรวมอัลกอริทึมและระดับการจัดเก็บผ่านสามกลไก ได้แก่…
- 8%) FFN แบบเบาบาง และ SegPagedAttention บน H800 8 การ์ด TTFT เร่งได้สูงสุด 1.
- 54 เท่า ความสามารถพร้อมกันต่อการ์ดเพิ่มขึ้น 4.
- 8 เท่า และ FLOPs ของ prefilling ลดลง 67%–79.
- 5% บน DeepSeek-V4-Flash บริบท 128K TTFT เร่งได้ถึง 5.
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- 公众号:小红书技术(dots.llm)
- หมวดหมู่
- ผลิตภัณฑ์และแอป
- คะแนน AI
- 72
小红书把 KV Cache 从 token 级拆成按头分家,这个思路让长文本推理的 TTFT 和并发都有数量级提升,开源出来对做推理引擎的同学是个福音。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: RedKnot ของ Xiaohongshu: เอนจินอนุมานที่แยก KV Cache ตาม attention head เพื่อเร่งข้อความยาว 29 มิถุนายน 2026 https://new.nat6.net/th/news/cmqz49v7400e4sldyr126zupc/