NVIDIA lanza Nemotron-Labs-3-Puzzle-75B-A9B: modelo MoE híbrido comprimido con 2,03 veces más rendimiento de servidor
Título original:NVIDIA Releases Nemotron-Labs-3-Puzzle-75B-A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput at Matched User Throughput
Resumen de IA
NVIDIA lanza Nemotron-Labs-3-Puzzle-75B-A9B, una variante comprimida de Nemotron-3-Super, que reduce los parámetros totales de 120,7B a 75,3B y los parámetros activos de 12,8B a 9,3B, manteniendo una disposición híbrida de 88 bloques (40 Mamba, 40 MoE y 8 de atención). En un nodo de 8×B200, con escenarios de 8K/64K y un rendimiento por usuario de ≥100 tok/s, el rendimiento del servidor aumenta 2,03 veces. En una sola H100, la concurrencia de 1M tokens pasa de 1 a 8 y el peso ocupado se reduce de 70 GB a 44,5 GB. El método Puzzle iterativo obtiene una puntuación media 0,57 superior a la de un solo paso. El coste: Arena-Hard-V2 baja 4,2 puntos y SWE-Bench baja 2,6 puntos. Hugging Face ofrece checkpoints en BF16, FP8 y NVFP4.
Puntos clave
- NVIDIA lanza Nemotron-Labs-3-Puzzle-75B-A9B,una variante comprimida de Nemotron-3-Super,que reduce…
- En un nodo de 8×B200,con escenarios de 8K/64K y un rendimiento por usuario de ≥100 tok/s,el…
- En una sola H100,la concurrencia de 1M tokens pasa de 1 a 8 y el peso ocupado se reduce de 70 GB a…
- El método Puzzle iterativo obtiene una puntuación media 0,57 superior a la de un solo paso.
- El coste: Arena-Hard-V2 baja 4,2 puntos y SWE-Bench baja 2,6 puntos.
Resumen rápido
- Publicado
- Actualizado
- Fuente
- MarkTechPost(RSS)
- Categoría
- Lanzamientos de modelos
- Puntuación IA
- 70
把120B MoE压到75B后,同节点服务吞吐几乎翻倍,单张H100百万token并发从1涨到8。对长上下文RAG和AI编码助手这类对吞吐敏感的产品来说,这不是论文调优,是实打实的降本方案。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: NVIDIA lanza Nemotron-Labs-3-Puzzle-75B-A9B: modelo MoE híbrido comprimido con 2,03 veces más rendimiento de servidor. 9. julio 2026. https://new.nat6.net/es/news/cmrd9x7xz01wzih4bch5uoywh/