Sorties de modèles

NVIDIA publie Nemotron-Labs-3-Puzzle-75B-A9B : un modèle MoE hybride compressé, débit serveur multiplié par 2,03

Titre original:NVIDIA Releases Nemotron-Labs-3-Puzzle-75B-A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput at Matched User Throughput

Résumé IA

NVIDIA publie Nemotron-Labs-3-Puzzle-75B-A9B, une variante compressée de Nemotron-3-Super : les paramètres totaux passent de 120,7B à 75,3B et les paramètres actifs de 12,8B à 9,3B, tout en conservant une disposition hybride de 88 blocs (40 Mamba, 40 MoE, 8 attention). Sur un nœud 8×B200, en scénarios 8K/64K avec un débit utilisateur ≥100 tok/s, le débit serveur est multiplié par 2,03. Sur un seul H100, la concurrence à 1M tokens passe de 1 à 8 et l'empreinte des poids de 70 Go à 44,5 Go. La méthode Puzzle itérative obtient un score moyen supérieur de 0,57 à la méthode en une étape. Coût : une baisse de 4,2 points sur Arena-Hard-V2 et de 2,6 points sur SWE-Bench. Hugging Face propose des checkpoints BF16, FP8 et NVFP4.

Points clés

  • NVIDIA publie Nemotron-Labs-3-Puzzle-75B-A9B,une variante compressée de Nemotron-3-Super: les…
  • Sur un nœud 8×B200,en scénarios 8K/64K avec un débit utilisateur ≥100 tok/s,le débit serveur est…
  • Sur un seul H100,la concurrence à 1M tokens passe de 1 à 8 et l'empreinte des poids de 70 Go à…
  • La méthode Puzzle itérative obtient un score moyen supérieur de 0,57 à la méthode en une étape.
  • Coût: une baisse de 4,2 points sur Arena-Hard-V2 et de 2,6 points sur SWE-Bench.

En bref

Publié
Mis à jour
Source
MarkTechPost(RSS)
Catégorie
Sorties de modèles
Score IA
70
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

把120B MoE压到75B后,同节点服务吞吐几乎翻倍,单张H100百万token并发从1涨到8。对长上下文RAG和AI编码助手这类对吞吐敏感的产品来说,这不是论文调优,是实打实的降本方案。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : NVIDIA publie Nemotron-Labs-3-Puzzle-75B-A9B : un modèle MoE hybride compressé, débit serveur multiplié par 2,03. 9. juillet 2026. https://new.nat6.net/fr/news/cmrd9x7xz01wzih4bch5uoywh/

Tout voir →