NVIDIA publie Nemotron-Labs-3-Puzzle-75B-A9B : un modèle MoE hybride compressé, débit serveur multiplié par 2,03
Titre original:NVIDIA Releases Nemotron-Labs-3-Puzzle-75B-A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput at Matched User Throughput
Résumé IA
NVIDIA publie Nemotron-Labs-3-Puzzle-75B-A9B, une variante compressée de Nemotron-3-Super : les paramètres totaux passent de 120,7B à 75,3B et les paramètres actifs de 12,8B à 9,3B, tout en conservant une disposition hybride de 88 blocs (40 Mamba, 40 MoE, 8 attention). Sur un nœud 8×B200, en scénarios 8K/64K avec un débit utilisateur ≥100 tok/s, le débit serveur est multiplié par 2,03. Sur un seul H100, la concurrence à 1M tokens passe de 1 à 8 et l'empreinte des poids de 70 Go à 44,5 Go. La méthode Puzzle itérative obtient un score moyen supérieur de 0,57 à la méthode en une étape. Coût : une baisse de 4,2 points sur Arena-Hard-V2 et de 2,6 points sur SWE-Bench. Hugging Face propose des checkpoints BF16, FP8 et NVFP4.
Points clés
- NVIDIA publie Nemotron-Labs-3-Puzzle-75B-A9B,une variante compressée de Nemotron-3-Super: les…
- Sur un nœud 8×B200,en scénarios 8K/64K avec un débit utilisateur ≥100 tok/s,le débit serveur est…
- Sur un seul H100,la concurrence à 1M tokens passe de 1 à 8 et l'empreinte des poids de 70 Go à…
- La méthode Puzzle itérative obtient un score moyen supérieur de 0,57 à la méthode en une étape.
- Coût: une baisse de 4,2 points sur Arena-Hard-V2 et de 2,6 points sur SWE-Bench.
En bref
- Publié
- Mis à jour
- Source
- MarkTechPost(RSS)
- Catégorie
- Sorties de modèles
- Score IA
- 70
把120B MoE压到75B后,同节点服务吞吐几乎翻倍,单张H100百万token并发从1涨到8。对长上下文RAG和AI编码助手这类对吞吐敏感的产品来说,这不是论文调优,是实打实的降本方案。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : NVIDIA publie Nemotron-Labs-3-Puzzle-75B-A9B : un modèle MoE hybride compressé, débit serveur multiplié par 2,03. 9. juillet 2026. https://new.nat6.net/fr/news/cmrd9x7xz01wzih4bch5uoywh/