모델 출시

NVIDIA, Nemotron-Labs-3-Puzzle-75B-A9B 출시: 압축 하이브리드 MoE 모델, 서버 처리량 2.03배 향상

원제목:NVIDIA Releases Nemotron-Labs-3-Puzzle-75B-A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput at Matched User Throughput

AI 요약

NVIDIA가 Nemotron-3-Super의 압축 변형 Nemotron-Labs-3-Puzzle-75B-A9B를 출시했다. 총 파라미터는 120.7B에서 75.3B로, 활성 파라미터는 12.8B에서 9.3B로 줄었으며 88개 블록 하이브리드 레이아웃(40 Mamba, 40 MoE, 8 어텐션)을 유지한다. 8×B200 노드에서 8K/64K 시나리오의 사용자 처리량 ≥100 tok/s 조건 충족 시 서버 처리량이 2.03배 향상된다. 단일 H100에서 1M-token 동시 처리가 1에서 8로 늘고 가중치 점유는 70 GB에서 44.5 GB로 감소한다. 반복적 Puzzle 방법은 평균 점수가 단일 단계보다 0.57 높다. 대가로 Arena-Hard-V2는 4.2점, SWE-Bench는 2.6점 하락했다. Hugging Face에서 BF16, FP8, NVFP4 체크포인트를 제공한다.

핵심 정보

  • NVIDIA가 Nemotron-3-Super의 압축 변형 Nemotron-Labs-3-Puzzle-75B-A9B를 출시했다.
  • 총 파라미터는 120.
  • 7B에서 75.
  • 3B로,활성 파라미터는 12.
  • 3B로 줄었으며 88개 블록 하이브리드 레이아웃(40 Mamba,40 MoE,8 어텐션)을 유지한다.

한눈에 보기

게시
업데이트
출처
MarkTechPost(RSS)
카테고리
모델 출시
AI 점수
70
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

把120B MoE压到75B后,同节点服务吞吐几乎翻倍,单张H100百万token并发从1涨到8。对长上下文RAG和AI编码助手这类对吞吐敏感的产品来说,这不是论文调优,是实打实的降本方案。

관련 엔티티

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: NVIDIA, Nemotron-Labs-3-Puzzle-75B-A9B 출시: 압축 하이브리드 MoE 모델, 서버 처리량 2.03배 향상. 2026년 7월 9일. https://new.nat6.net/ko/news/cmrd9x7xz01wzih4bch5uoywh/

전체 보기 →