샤오홍슈, 베이징대·상하이교통대와 HYPIC 제안…혼합 어텐션 대규모 언어 모델에 위치 무관 캐시 적용, 첫 토큰 지연 3.25배 감소
원제목:首 token 延迟降 3.25 倍!小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上「位置无关缓存」
AI 요약
샤오홍슈가 베이징대, 상하이교통대와 공동으로 HYPIC을 제안했다. 혼합 어텐션 대규모 언어 모델에서 위치 무관 캐시를 구현한 최초의 서빙 시스템이다. 4개 프로덕션급 혼합 어텐션 모델과 5개 워크로드에서 HYPIC은 첫 토큰 지연(TTFT)을 평균 3.25배 낮추고 동일 SLO에서 지속 QPS를 1.66배 높였으며, 작업 품질은 완전 재계산 대비 1.71점 차이에 그쳤다. 이 시스템은 캐시 세그먼트 누적 전이 연산자로 선형 레이어의 상수 시간 상태 조합을 구현하고, 스티칭 윈도로 전체 어텐션 레이어의 세그먼트 간 정렬을 보정한다.
핵심 정보
- 샤오홍슈가 베이징대,상하이교통대와 공동으로 HYPIC을 제안했다.
- 혼합 어텐션 대규모 언어 모델에서 위치 무관 캐시를 구현한 최초의 서빙 시스템이다.
- 4개 프로덕션급 혼합 어텐션 모델과 5개 워크로드에서 HYPIC은 첫 토큰 지연(TTFT)을 평균 3.
- 25배 낮추고 동일 SLO에서 지속 QPS를 1.
- 66배 높였으며,작업 품질은 완전 재계산 대비 1.
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 논문 및 연구
- AI 점수
- 75
此前位置无关缓存无法用于混合注意力模型,HYPIC 通过缓存转移算子与缝合窗口首次实现,RAG 场景 TTFT 降低 3.25 倍,开源代码为推理系统提供了可复用的加速路径。
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: 샤오홍슈, 베이징대·상하이교통대와 HYPIC 제안…혼합 어텐션 대규모 언어 모델에 위치 무관 캐시 적용, 첫 토큰 지연 3.25배 감소. 2026년 7월 16일. https://new.nat6.net/ko/news/cmsdu108a00ufrofz01bxk6m3/