MiniMax, MSA 희소 어텐션 방법 발표…추론 커널 오픈소스 및 MiniMax-M3 모델 출시
원제목:MiniMax Sparse Attention (MSA): a Two-Branch Block-Sparse Attention Trained on a 109B-Parameter MoE With a 3T-Token Budget
AI 요약
MiniMax가 Grouped Query Attention 위에 구축한 희소 어텐션 방법 MSA(MiniMax Sparse Attention)를 발표했다. 어텐션을 인덱스 분기와 메인 분기로 분해한다. 인덱스 분기는 블록 단위(기본 128 token)로 각 GQA 그룹에 16개 토큰 블록(고정 예산 2048개 키-값 토큰)을 선택하고, 메인 분기는 이 블록에서만 정확한 softmax 어텐션을 수행한다. MSA는 109B 파라미터 MoE 모델에서 훈련됐으며, NVIDIA SM100 GPU용 추론 커널 `fmha_sm100`(MIT 라이선스, BF16/FP8/NVFP4/FP4 지원)을 오픈소스로 공개하고 생산 모델 MiniMax-M3를 출시했다. MSA-PT는 MMLU, GSM8K, HumanEval, RULER-8K, RULER-32K에서 각각 67.2, 77.7, 64.0, 84.2, 77.5를 기록해 전체 어텐션 기준선과 동등한 수준이다. 128K 컨텍스트에서 exp-free Top-k 선택은 `torch.topk`보다 5.1배 빠르다.
핵심 정보
- MiniMax가 Grouped Query Attention 위에 구축한 희소 어텐션 방법 MSA(MiniMax Sparse Attention)를 발표했다.
- 어텐션을 인덱스 분기와 메인 분기로 분해한다.
- 인덱스 분기는 블록 단위(기본 128 token)로 각 GQA 그룹에 16개 토큰 블록(고정 예산 2048개 키-값 토큰)을 선택하고,메인 분기는 이 블록에서만 정확한…
- MSA는 109B 파라미터 MoE 모델에서 훈련됐으며,NVIDIA SM100 GPU용 추론 커널 `fmha_sm100`(MIT 라이선스,BF16/FP8/NVFP4/FP4…
- MSA-PT는 MMLU,GSM8K,HumanEval,RULER-8K,RULER-32K에서 각각 67.
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 논문 및 연구
- AI 점수
- 70
MiniMax 把长上下文注意力从 O(N) 压到固定每查询 2048 token,还同时开源高效内核与生产模型,对做长上下文 agent 的团队是即时可用的方法,遗憾是只限 SM100 GPU。
관련 엔티티
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: MiniMax, MSA 희소 어텐션 방법 발표…추론 커널 오픈소스 및 MiniMax-M3 모델 출시. 2026년 6월 17일. https://new.nat6.net/ko/news/cmqhsdiv401zcslf08vuq50zc/