NVIDIA veröffentlicht offenes Diffusions-Sprachmodell Nemotron-Labs-TwoTower
Originaltitel:NVIDIA Releases Nemotron-Labs-TwoTower: an Open-Weight Diffusion Language Model Built on a Frozen Autoregressive Nemotron-3-Nano-30B-A3B Backbone
KI-Zusammenfassung
NVIDIA hat Nemotron-Labs-TwoTower veröffentlicht, ein Diffusions-Sprachmodell auf Basis des eingefrorenen autoregressiven Backbones Nemotron-3-Nano-30B-A3B. Es nutzt eine Zwei-Turm-Architektur: Der Kontext-Turm ist eingefroren, der Denoising-Turm wird trainiert; beide arbeiten über schichtweise ausgerichtete Cross-Attention und State Seeding zusammen. Bei der BF16-Evaluierung auf 2×H100 behält es 98,7 Prozent der Qualität der AR-Baseline und steigert den Generierungsdurchsatz um das 2,42-Fache (γ=0,8, Blockgröße S=16). Der Denoising-Turm wurde auf etwa 2,1 T Token trainiert, der Backbone mit 25 T Token vorab trainiert. Das Modell hat insgesamt etwa 60 B Parameter, mit etwa 3 B aktiven Parametern pro Token und Turm. Es unterstützt drei Dekodierungsmodi: Diffusion, simuliertes AR und AR.
Kernpunkte
- NVIDIA hat Nemotron-Labs-TwoTower veröffentlicht,ein Diffusions-Sprachmodell auf Basis des…
- Es nutzt eine Zwei-Turm-Architektur: Der Kontext-Turm ist eingefroren,der Denoising-Turm wird…
- beide arbeiten über schichtweise ausgerichtete Cross-Attention und State Seeding zusammen.
- Bei der BF16-Evaluierung auf 2×H100 behält es 98,7 Prozent der Qualität der AR-Baseline und…
- Der Denoising-Turm wurde auf etwa 2,1 T Token trainiert,der Backbone mit 25 T Token vorab trainiert.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- MarkTechPost(RSS)
- Kategorie
- Modellveröffentlichungen
- KI-Bewertung
- 73
NVIDIA这个TwoTower把扩散解码接在已有的AR骨干上,几乎无损质量却让吞吐翻倍,并且开源可商用,对批量文本生成的团队是实在的加速工具。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: NVIDIA veröffentlicht offenes Diffusions-Sprachmodell Nemotron-Labs-TwoTower. 1. Juli 2026. https://new.nat6.net/de/news/cmr1ti4v001xlsl8zovi1yoqa/