Modellveröffentlichungen

NVIDIA veröffentlicht offenes Diffusions-Sprachmodell Nemotron-Labs-TwoTower

Originaltitel:NVIDIA Releases Nemotron-Labs-TwoTower: an Open-Weight Diffusion Language Model Built on a Frozen Autoregressive Nemotron-3-Nano-30B-A3B Backbone

KI-Zusammenfassung

NVIDIA hat Nemotron-Labs-TwoTower veröffentlicht, ein Diffusions-Sprachmodell auf Basis des eingefrorenen autoregressiven Backbones Nemotron-3-Nano-30B-A3B. Es nutzt eine Zwei-Turm-Architektur: Der Kontext-Turm ist eingefroren, der Denoising-Turm wird trainiert; beide arbeiten über schichtweise ausgerichtete Cross-Attention und State Seeding zusammen. Bei der BF16-Evaluierung auf 2×H100 behält es 98,7 Prozent der Qualität der AR-Baseline und steigert den Generierungsdurchsatz um das 2,42-Fache (γ=0,8, Blockgröße S=16). Der Denoising-Turm wurde auf etwa 2,1 T Token trainiert, der Backbone mit 25 T Token vorab trainiert. Das Modell hat insgesamt etwa 60 B Parameter, mit etwa 3 B aktiven Parametern pro Token und Turm. Es unterstützt drei Dekodierungsmodi: Diffusion, simuliertes AR und AR.

Kernpunkte

  • NVIDIA hat Nemotron-Labs-TwoTower veröffentlicht,ein Diffusions-Sprachmodell auf Basis des…
  • Es nutzt eine Zwei-Turm-Architektur: Der Kontext-Turm ist eingefroren,der Denoising-Turm wird…
  • beide arbeiten über schichtweise ausgerichtete Cross-Attention und State Seeding zusammen.
  • Bei der BF16-Evaluierung auf 2×H100 behält es 98,7 Prozent der Qualität der AR-Baseline und…
  • Der Denoising-Turm wurde auf etwa 2,1 T Token trainiert,der Backbone mit 25 T Token vorab trainiert.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
MarkTechPost(RSS)
Kategorie
Modellveröffentlichungen
KI-Bewertung
73
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

NVIDIA这个TwoTower把扩散解码接在已有的AR骨干上,几乎无损质量却让吞吐翻倍,并且开源可商用,对批量文本生成的团队是实在的加速工具。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: NVIDIA veröffentlicht offenes Diffusions-Sprachmodell Nemotron-Labs-TwoTower. 1. Juli 2026. https://new.nat6.net/de/news/cmr1ti4v001xlsl8zovi1yoqa/

Alle ansehen →