Lanzamientos de modelos

NVIDIA lanza Nemotron-Labs-3-Puzzle-75B-A9B: modelo MoE híbrido comprimido con 2,03 veces más rendimiento de servidor

Título original:NVIDIA Releases Nemotron-Labs-3-Puzzle-75B-A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput at Matched User Throughput

Resumen de IA

NVIDIA lanza Nemotron-Labs-3-Puzzle-75B-A9B, una variante comprimida de Nemotron-3-Super, que reduce los parámetros totales de 120,7B a 75,3B y los parámetros activos de 12,8B a 9,3B, manteniendo una disposición híbrida de 88 bloques (40 Mamba, 40 MoE y 8 de atención). En un nodo de 8×B200, con escenarios de 8K/64K y un rendimiento por usuario de ≥100 tok/s, el rendimiento del servidor aumenta 2,03 veces. En una sola H100, la concurrencia de 1M tokens pasa de 1 a 8 y el peso ocupado se reduce de 70 GB a 44,5 GB. El método Puzzle iterativo obtiene una puntuación media 0,57 superior a la de un solo paso. El coste: Arena-Hard-V2 baja 4,2 puntos y SWE-Bench baja 2,6 puntos. Hugging Face ofrece checkpoints en BF16, FP8 y NVFP4.

Puntos clave

  • NVIDIA lanza Nemotron-Labs-3-Puzzle-75B-A9B,una variante comprimida de Nemotron-3-Super,que reduce…
  • En un nodo de 8×B200,con escenarios de 8K/64K y un rendimiento por usuario de ≥100 tok/s,el…
  • En una sola H100,la concurrencia de 1M tokens pasa de 1 a 8 y el peso ocupado se reduce de 70 GB a…
  • El método Puzzle iterativo obtiene una puntuación media 0,57 superior a la de un solo paso.
  • El coste: Arena-Hard-V2 baja 4,2 puntos y SWE-Bench baja 2,6 puntos.

Resumen rápido

Publicado
Actualizado
Fuente
MarkTechPost(RSS)
Categoría
Lanzamientos de modelos
Puntuación IA
70
Leer el original Leer el artículo completo en la fuente original
Por qué importa

把120B MoE压到75B后,同节点服务吞吐几乎翻倍,单张H100百万token并发从1涨到8。对长上下文RAG和AI编码助手这类对吞吐敏感的产品来说,这不是论文调优,是实打实的降本方案。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: NVIDIA lanza Nemotron-Labs-3-Puzzle-75B-A9B: modelo MoE híbrido comprimido con 2,03 veces más rendimiento de servidor. 9. julio 2026. https://new.nat6.net/es/news/cmrd9x7xz01wzih4bch5uoywh/

Ver todo →