モデル公開

NVIDIA、Nemotron-Labs-3-Puzzle-75B-A9Bを発表:圧縮ハイブリッドMoEモデル、サーバースループット2.03倍向上

原題:NVIDIA Releases Nemotron-Labs-3-Puzzle-75B-A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput at Matched User Throughput

AI 要約

NVIDIAはNemotron-3-Superの圧縮版Nemotron-Labs-3-Puzzle-75B-A9Bを発表した。総パラメータは120.7Bから75.3Bに、アクティブパラメータは12.8Bから9.3Bに減少し、88ブロックのハイブリッドレイアウト(40 Mamba、40 MoE、8 アテンション)を維持する。8×B200ノード上で、8K/64Kシナリオのユーザースループット≥100 tok/s時にサーバースループットが2.03倍向上する。単一H100で1M-tokenの同時実行数は1から8に増え、重み占有量は70 GBから44.5 GBに減少した。反復型Puzzle手法の平均スコアは単一ステップより0.57高い。代償としてArena-Hard-V2は4.2ポイント、SWE-Benchは2.6ポイント低下する。Hugging FaceでBF16、FP8、NVFP4のチェックポイントを提供する。

要点

  • NVIDIAはNemotron-3-Superの圧縮版Nemotron-Labs-3-Puzzle-75B-A9Bを発表した。
  • 総パラメータは120.
  • 7Bから75.
  • 3Bに、アクティブパラメータは12.
  • 3Bに減少し、88ブロックのハイブリッドレイアウト(40 Mamba、40 MoE、8 アテンション)を維持する。

概要

公開日時
更新日時
出典
MarkTechPost(RSS)
カテゴリ
モデル公開
AI スコア
70
原文を読む 情報源で全文を読む
おすすめの理由

把120B MoE压到75B后,同节点服务吞吐几乎翻倍,单张H100百万token并发从1涨到8。对长上下文RAG和AI编码助手这类对吞吐敏感的产品来说,这不是论文调优,是实打实的降本方案。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:NVIDIA、Nemotron-Labs-3-Puzzle-75B-A9Bを発表:圧縮ハイブリッドMoEモデル、サーバースループット2.03倍向上。2026年7月9日。https://new.nat6.net/ja/news/cmrd9x7xz01wzih4bch5uoywh/

すべて見る →