제품 및 앱

샤오홍슈 RedKnot 추론 엔진: KV Cache를 어텐션 헤드별로 분해해 장문 가속

원제목:让 KV Cache「按头分家」:小红书 RedKnot 如何重做长文本推理新引擎

AI 요약

RedKnot은 KV Cache를 어텐션 헤드 차원으로 분해하고 헤드 분류 희소성(로컬 헤드 83.4%~96.8%), 희소 FFN, SegPagedAttention 세 가지 메커니즘으로 알고리즘과 저장 단위를 통일했다. 8카드 H800에서 TTFT 최대 1.6~3.54배 가속, 단일 카드 동시성 4.7~7.8배 향상, 프리필 FLOPs 67%~79.5% 절감을 달성했다. DeepSeek-V4-Flash에서 128K 컨텍스트 TTFT 가속은 5.16배, KV 전송은 최대 6.3배 절감된다. 정밀도는 일반적으로 조밀 F1의 95% 이상이다.

핵심 정보

  • RedKnot은 KV Cache를 어텐션 헤드 차원으로 분해하고 헤드 분류 희소성(로컬 헤드 83.
  • 8%),희소 FFN,SegPagedAttention 세 가지 메커니즘으로 알고리즘과 저장 단위를 통일했다.
  • 8카드 H800에서 TTFT 최대 1.
  • 54배 가속,단일 카드 동시성 4.
  • 8배 향상,프리필 FLOPs 67%~79.

한눈에 보기

게시
업데이트
출처
公众号:小红书技术(dots.llm)
카테고리
제품 및 앱
AI 점수
72
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

小红书把 KV Cache 从 token 级拆成按头分家,这个思路让长文本推理的 TTFT 和并发都有数量级提升,开源出来对做推理引擎的同学是个福音。

관련 엔티티

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: 샤오홍슈 RedKnot 추론 엔진: KV Cache를 어텐션 헤드별로 분해해 장문 가속. 2026년 6월 29일. https://new.nat6.net/ko/news/cmqz49v7400e4sldyr126zupc/

전체 보기 →