Pelancaran Model

NVIDIA melancarkan model bahasa difusi berat terbuka Nemotron-Labs-TwoTower

Tajuk asal:NVIDIA Releases Nemotron-Labs-TwoTower: an Open-Weight Diffusion Language Model Built on a Frozen Autoregressive Nemotron-3-Nano-30B-A3B Backbone

Ringkasan AI

NVIDIA melancarkan Nemotron-Labs-TwoTower, model bahasa difusi berasaskan tulang belakang autoregresif beku Nemotron-3-Nano-30B-A3B. Menggunakan seni bina dua menara: menara konteks dibekukan, menara penyahbunyi dilatih, bekerjasama melalui perhatian silang sejajar lapisan dan penyemaian keadaan. Dinilai dalam BF16 pada 2×H100, mengekalkan 98.7% kualiti garis dasar AR, dengan daya pemprosesan penjanaan meningkat 2.42 kali ganda (γ=0.8, saiz blok S=16). Penyahbunyi dilatih pada kira-kira 2.1T token, tulang belakang menggunakan prapelatihan 25T token. Jumlah parameter kira-kira 60B, parameter aktif setiap token kira-kira 3B/menara. Menyokong tiga mod penyahkodan: difusi, AR simulasi dan AR.

Maklumat penting

  • NVIDIA melancarkan Nemotron-Labs-TwoTower,model bahasa difusi berasaskan tulang belakang…
  • Menggunakan seni bina dua menara: menara konteks dibekukan,menara penyahbunyi dilatih,bekerjasama…
  • Dinilai dalam BF16 pada 2×H100,mengekalkan 98.
  • 7% kualiti garis dasar AR,dengan daya pemprosesan penjanaan meningkat 2.
  • 42 kali ganda (γ=0.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
MarkTechPost(RSS)
Kategori
Pelancaran Model
Skor AI
73
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

NVIDIA这个TwoTower把扩散解码接在已有的AR骨干上,几乎无损质量却让吞吐翻倍,并且开源可商用,对批量文本生成的团队是实在的加速工具。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: NVIDIA melancarkan model bahasa difusi berat terbuka Nemotron-Labs-TwoTower. 1 Julai 2026. https://new.nat6.net/ms/news/cmr1ti4v001xlsl8zovi1yoqa/

Lihat Semua →