NVIDIA、Nemotron-Labs-3-Puzzle-75B-A9Bを発表:圧縮ハイブリッドMoEモデル、サーバースループット2.03倍向上
原題:NVIDIA Releases Nemotron-Labs-3-Puzzle-75B-A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput at Matched User Throughput
AI 要約
NVIDIAはNemotron-3-Superの圧縮版Nemotron-Labs-3-Puzzle-75B-A9Bを発表した。総パラメータは120.7Bから75.3Bに、アクティブパラメータは12.8Bから9.3Bに減少し、88ブロックのハイブリッドレイアウト(40 Mamba、40 MoE、8 アテンション)を維持する。8×B200ノード上で、8K/64Kシナリオのユーザースループット≥100 tok/s時にサーバースループットが2.03倍向上する。単一H100で1M-tokenの同時実行数は1から8に増え、重み占有量は70 GBから44.5 GBに減少した。反復型Puzzle手法の平均スコアは単一ステップより0.57高い。代償としてArena-Hard-V2は4.2ポイント、SWE-Benchは2.6ポイント低下する。Hugging FaceでBF16、FP8、NVFP4のチェックポイントを提供する。
要点
- NVIDIAはNemotron-3-Superの圧縮版Nemotron-Labs-3-Puzzle-75B-A9Bを発表した。
- 総パラメータは120.
- 7Bから75.
- 3Bに、アクティブパラメータは12.
- 3Bに減少し、88ブロックのハイブリッドレイアウト(40 Mamba、40 MoE、8 アテンション)を維持する。
概要
- 公開日時
- 更新日時
- カテゴリ
- モデル公開
- AI スコア
- 70
把120B MoE压到75B后,同节点服务吞吐几乎翻倍,单张H100百万token并发从1涨到8。对长上下文RAG和AI编码助手这类对吞吐敏感的产品来说,这不是论文调优,是实打实的降本方案。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:NVIDIA、Nemotron-Labs-3-Puzzle-75B-A9Bを発表:圧縮ハイブリッドMoEモデル、サーバースループット2.03倍向上。2026年7月9日。https://new.nat6.net/ja/news/cmrd9x7xz01wzih4bch5uoywh/