텐센트 混元, Stem 희소 어텐션 알고리즘 제안…ICML 2026 채택
원제목:首字延迟降低3.6倍,腾讯混元提出Stem稀疏注意力算法,长文推理加速新SOTA
AI 요약
Stem 알고리즘은 Token 위치 감쇠(TPD)와 출력 인지 측정(OAM) 두 가지 혁신을 통해 25%의 컴퓨팅 파워만으로도 밀집 어텐션 정밀도에 근접한다. 함께 제공되는 HPC 연산자는 Hopper 아키텍처에 최적화되어 FP8 양자화와 vLLM의 Paged KV Cache를 지원하며, 混元 Hy3 preview에서 첫 토큰 지연을 3.6배 낮췄다. HPC-BSA는 MIT-BSA 대비 약 3배 가속을 안정적으로 유지하며 8K~256K 시퀀스 길이에서 일관된 성능을 보인다.
핵심 정보
- Stem 알고리즘은 Token 위치 감쇠(TPD)와 출력 인지 측정(OAM) 두 가지 혁신을 통해 25%의 컴퓨팅 파워만으로도 밀집 어텐션 정밀도에 근접한다.
- 함께 제공되는 HPC 연산자는 Hopper 아키텍처에 최적화되어 FP8 양자화와 vLLM의 Paged KV Cache를 지원하며,混元 Hy3 preview에서 첫 토큰 지연을 3.
- HPC-BSA는 MIT-BSA 대비 약 3배 가속을 안정적으로 유지하며 8K~256K 시퀀스 길이에서 일관된 성능을 보인다.
한눈에 보기
추천 이유
把稀疏注意力从一刀切升级成按信息流分配预算,算子在Hopper上把理论加速几乎无损转化,3.6倍首字延迟下降不是灌水——做长上下文应用的值得照着开源代码试。
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: 텐센트 混元, Stem 희소 어텐션 알고리즘 제안…ICML 2026 채택. 2026년 6월 5일. https://new.nat6.net/ko/news/cmq2o71l001iisl6n8ljx5jbt/