warp decode로 MoE 모델 추론 효율 향상
원제목:Better MoE model inference with warp decode
AI 요약
Blackwell GPU의 소배치 디코딩을 위해 'warp decode'라는 새로운 방법이 제안되었습니다. 이 방법은 전통적인 전문가 중심 계산 경로를 뒤집어 각 GPU warp가 하나의 출력 뉴런을 계산하도록 합니다. 이러한 근본적 변화는 기존 프로세스의 순수 데이터 관리 '부기' 단계 다섯 개를 제거하고 전체 MoE 계산 레이어를 단 두 개의 커널로 압축합니다. 장점은 패딩, 분산, 중간 버퍼 읽기/쓰기를 피하고 warp 독립성을 통해 더 나은 스케줄링을 실현하는 것입니다. Blackwell GPU에서 이 방법은 1.84배 처리량 향상을 달성했으며 출력 정밀도도 더 높아 전체 FP32 참조값과의 차이가 1.4배 줄어 모델 연구개발 프로세스를 효과적으로 가속했습니다.
핵심 정보
- Blackwell GPU의 소배치 디코딩을 위해 'warp decode'라는 새로운 방법이 제안되었습니다.
- 이 방법은 전통적인 전문가 중심 계산 경로를 뒤집어 각 GPU warp가 하나의 출력 뉴런을 계산하도록 합니다.
- 이러한 근본적 변화는 기존 프로세스의 순수 데이터 관리 '부기' 단계 다섯 개를 제거하고 전체 MoE 계산 레이어를 단 두 개의 커널로 압축합니다.
- 장점은 패딩,분산,중간 버퍼 읽기/쓰기를 피하고 warp 독립성을 통해 더 나은 스케줄링을 실현하는 것입니다.
- Blackwell GPU에서 이 방법은 1.
한눈에 보기
- 게시
- 업데이트
- 출처
- Cursor Blog
- 카테고리
- 논문 및 연구
- AI 점수
- 66
Cursor 把 MoE 推理的并行轴从专家翻转到输出神经元,Blackwell 上吞吐涨 1.84 倍还顺带提精度,这种同时赢性能和精度的内核优化极其罕见,做推理引擎的值得逐行读。
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: warp decode로 MoE 모델 추론 효율 향상. 2026년 4월 6일. https://new.nat6.net/ko/news/cmosbbgu40075slojjfiqhvmm/