NVIDIA, Nemotron-Labs-3-Puzzle-75B-A9B 출시: 압축 하이브리드 MoE 모델, 서버 처리량 2.03배 향상
원제목:NVIDIA Releases Nemotron-Labs-3-Puzzle-75B-A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput at Matched User Throughput
AI 요약
NVIDIA가 Nemotron-3-Super의 압축 변형 Nemotron-Labs-3-Puzzle-75B-A9B를 출시했다. 총 파라미터는 120.7B에서 75.3B로, 활성 파라미터는 12.8B에서 9.3B로 줄었으며 88개 블록 하이브리드 레이아웃(40 Mamba, 40 MoE, 8 어텐션)을 유지한다. 8×B200 노드에서 8K/64K 시나리오의 사용자 처리량 ≥100 tok/s 조건 충족 시 서버 처리량이 2.03배 향상된다. 단일 H100에서 1M-token 동시 처리가 1에서 8로 늘고 가중치 점유는 70 GB에서 44.5 GB로 감소한다. 반복적 Puzzle 방법은 평균 점수가 단일 단계보다 0.57 높다. 대가로 Arena-Hard-V2는 4.2점, SWE-Bench는 2.6점 하락했다. Hugging Face에서 BF16, FP8, NVFP4 체크포인트를 제공한다.
핵심 정보
- NVIDIA가 Nemotron-3-Super의 압축 변형 Nemotron-Labs-3-Puzzle-75B-A9B를 출시했다.
- 총 파라미터는 120.
- 7B에서 75.
- 3B로,활성 파라미터는 12.
- 3B로 줄었으며 88개 블록 하이브리드 레이아웃(40 Mamba,40 MoE,8 어텐션)을 유지한다.
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 모델 출시
- AI 점수
- 70
把120B MoE压到75B后,同节点服务吞吐几乎翻倍,单张H100百万token并发从1涨到8。对长上下文RAG和AI编码助手这类对吞吐敏感的产品来说,这不是论文调优,是实打实的降本方案。
관련 엔티티
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: NVIDIA, Nemotron-Labs-3-Puzzle-75B-A9B 출시: 압축 하이브리드 MoE 모델, 서버 처리량 2.03배 향상. 2026년 7월 9일. https://new.nat6.net/ko/news/cmrd9x7xz01wzih4bch5uoywh/