NVIDIA lanza Nemotron-Labs-TwoTower, un modelo de lenguaje de difusión de pesos abiertos
Título original:NVIDIA Releases Nemotron-Labs-TwoTower: an Open-Weight Diffusion Language Model Built on a Frozen Autoregressive Nemotron-3-Nano-30B-A3B Backbone
Resumen de IA
NVIDIA lanzó Nemotron-Labs-TwoTower, un modelo de lenguaje de difusión basado en el backbone autorregresivo congelado Nemotron-3-Nano-30B-A3B. Usa una arquitectura de dos torres: la torre de contexto permanece congelada y la del desruidor se entrena, colaborando mediante atención cruzada alineada por capas y siembra de estados. Evaluado en BF16 sobre 2×H100, conserva el 98,7 % de la calidad de la línea base AR y eleva el rendimiento de generación 2,42 veces (γ=0,8, tamaño de bloque S=16). El desruidor se entrenó con unos 2,1 T de tokens y el backbone con 25 T de tokens. Tiene unos 60 B de parámetros totales y unos 3 B activos por token y torre. Admite tres modos de decodificación: difusión, AR simulado y AR.
Puntos clave
- NVIDIA lanzó Nemotron-Labs-TwoTower,un modelo de lenguaje de difusión basado en el backbone…
- Usa una arquitectura de dos torres: la torre de contexto permanece congelada y la del desruidor se…
- Evaluado en BF16 sobre 2×H100,conserva el 98,7 % de la calidad de la línea base AR y eleva el…
- El desruidor se entrenó con unos 2,1 T de tokens y el backbone con 25 T de tokens.
- Tiene unos 60 B de parámetros totales y unos 3 B activos por token y torre.
Resumen rápido
- Publicado
- Actualizado
- Fuente
- MarkTechPost(RSS)
- Categoría
- Lanzamientos de modelos
- Puntuación IA
- 73
NVIDIA这个TwoTower把扩散解码接在已有的AR骨干上,几乎无损质量却让吞吐翻倍,并且开源可商用,对批量文本生成的团队是实在的加速工具。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: NVIDIA lanza Nemotron-Labs-TwoTower, un modelo de lenguaje de difusión de pesos abiertos. 1. julio 2026. https://new.nat6.net/es/news/cmr1ti4v001xlsl8zovi1yoqa/