논문 및 연구

텐센트 混元, Stem 희소 어텐션 알고리즘 제안…ICML 2026 채택

원제목:首字延迟降低3.6倍,腾讯混元提出Stem稀疏注意力算法,长文推理加速新SOTA

AI 요약

Stem 알고리즘은 Token 위치 감쇠(TPD)와 출력 인지 측정(OAM) 두 가지 혁신을 통해 25%의 컴퓨팅 파워만으로도 밀집 어텐션 정밀도에 근접한다. 함께 제공되는 HPC 연산자는 Hopper 아키텍처에 최적화되어 FP8 양자화와 vLLM의 Paged KV Cache를 지원하며, 混元 Hy3 preview에서 첫 토큰 지연을 3.6배 낮췄다. HPC-BSA는 MIT-BSA 대비 약 3배 가속을 안정적으로 유지하며 8K~256K 시퀀스 길이에서 일관된 성능을 보인다.

핵심 정보

  • Stem 알고리즘은 Token 위치 감쇠(TPD)와 출력 인지 측정(OAM) 두 가지 혁신을 통해 25%의 컴퓨팅 파워만으로도 밀집 어텐션 정밀도에 근접한다.
  • 함께 제공되는 HPC 연산자는 Hopper 아키텍처에 최적화되어 FP8 양자화와 vLLM의 Paged KV Cache를 지원하며,混元 Hy3 preview에서 첫 토큰 지연을 3.
  • HPC-BSA는 MIT-BSA 대비 약 3배 가속을 안정적으로 유지하며 8K~256K 시퀀스 길이에서 일관된 성능을 보인다.

한눈에 보기

게시
업데이트
출처
公众号:腾讯混元
카테고리
논문 및 연구
AI 점수
62
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

把稀疏注意力从一刀切升级成按信息流分配预算,算子在Hopper上把理论加速几乎无损转化,3.6倍首字延迟下降不是灌水——做长上下文应用的值得照着开源代码试。

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: 텐센트 混元, Stem 희소 어텐션 알고리즘 제안…ICML 2026 채택. 2026년 6월 5일. https://new.nat6.net/ko/news/cmq2o71l001iisl6n8ljx5jbt/

전체 보기 →