Lanzamientos de modelos

NVIDIA lanza Nemotron-Labs-TwoTower, un modelo de lenguaje de difusión de pesos abiertos

Título original:NVIDIA Releases Nemotron-Labs-TwoTower: an Open-Weight Diffusion Language Model Built on a Frozen Autoregressive Nemotron-3-Nano-30B-A3B Backbone

Resumen de IA

NVIDIA lanzó Nemotron-Labs-TwoTower, un modelo de lenguaje de difusión basado en el backbone autorregresivo congelado Nemotron-3-Nano-30B-A3B. Usa una arquitectura de dos torres: la torre de contexto permanece congelada y la del desruidor se entrena, colaborando mediante atención cruzada alineada por capas y siembra de estados. Evaluado en BF16 sobre 2×H100, conserva el 98,7 % de la calidad de la línea base AR y eleva el rendimiento de generación 2,42 veces (γ=0,8, tamaño de bloque S=16). El desruidor se entrenó con unos 2,1 T de tokens y el backbone con 25 T de tokens. Tiene unos 60 B de parámetros totales y unos 3 B activos por token y torre. Admite tres modos de decodificación: difusión, AR simulado y AR.

Puntos clave

  • NVIDIA lanzó Nemotron-Labs-TwoTower,un modelo de lenguaje de difusión basado en el backbone…
  • Usa una arquitectura de dos torres: la torre de contexto permanece congelada y la del desruidor se…
  • Evaluado en BF16 sobre 2×H100,conserva el 98,7 % de la calidad de la línea base AR y eleva el…
  • El desruidor se entrenó con unos 2,1 T de tokens y el backbone con 25 T de tokens.
  • Tiene unos 60 B de parámetros totales y unos 3 B activos por token y torre.

Resumen rápido

Publicado
Actualizado
Fuente
MarkTechPost(RSS)
Categoría
Lanzamientos de modelos
Puntuación IA
73
Leer el original Leer el artículo completo en la fuente original
Por qué importa

NVIDIA这个TwoTower把扩散解码接在已有的AR骨干上,几乎无损质量却让吞吐翻倍,并且开源可商用,对批量文本生成的团队是实在的加速工具。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: NVIDIA lanza Nemotron-Labs-TwoTower, un modelo de lenguaje de difusión de pesos abiertos. 1. julio 2026. https://new.nat6.net/es/news/cmr1ti4v001xlsl8zovi1yoqa/

Ver todo →