샤오홍슈 RedKnot 추론 엔진: KV Cache를 어텐션 헤드별로 분해해 장문 가속
원제목:让 KV Cache「按头分家」:小红书 RedKnot 如何重做长文本推理新引擎
AI 요약
RedKnot은 KV Cache를 어텐션 헤드 차원으로 분해하고 헤드 분류 희소성(로컬 헤드 83.4%~96.8%), 희소 FFN, SegPagedAttention 세 가지 메커니즘으로 알고리즘과 저장 단위를 통일했다. 8카드 H800에서 TTFT 최대 1.6~3.54배 가속, 단일 카드 동시성 4.7~7.8배 향상, 프리필 FLOPs 67%~79.5% 절감을 달성했다. DeepSeek-V4-Flash에서 128K 컨텍스트 TTFT 가속은 5.16배, KV 전송은 최대 6.3배 절감된다. 정밀도는 일반적으로 조밀 F1의 95% 이상이다.
핵심 정보
- RedKnot은 KV Cache를 어텐션 헤드 차원으로 분해하고 헤드 분류 희소성(로컬 헤드 83.
- 8%),희소 FFN,SegPagedAttention 세 가지 메커니즘으로 알고리즘과 저장 단위를 통일했다.
- 8카드 H800에서 TTFT 최대 1.
- 54배 가속,단일 카드 동시성 4.
- 8배 향상,프리필 FLOPs 67%~79.
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 제품 및 앱
- AI 점수
- 72
추천 이유
小红书把 KV Cache 从 token 级拆成按头分家,这个思路让长文本推理的 TTFT 和并发都有数量级提升,开源出来对做推理引擎的同学是个福音。
관련 엔티티
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: 샤오홍슈 RedKnot 추론 엔진: KV Cache를 어텐션 헤드별로 분해해 장문 가속. 2026년 6월 29일. https://new.nat6.net/ko/news/cmqz49v7400e4sldyr126zupc/