NVIDIA melancarkan model bahasa difusi berat terbuka Nemotron-Labs-TwoTower
Tajuk asal:NVIDIA Releases Nemotron-Labs-TwoTower: an Open-Weight Diffusion Language Model Built on a Frozen Autoregressive Nemotron-3-Nano-30B-A3B Backbone
Ringkasan AI
NVIDIA melancarkan Nemotron-Labs-TwoTower, model bahasa difusi berasaskan tulang belakang autoregresif beku Nemotron-3-Nano-30B-A3B. Menggunakan seni bina dua menara: menara konteks dibekukan, menara penyahbunyi dilatih, bekerjasama melalui perhatian silang sejajar lapisan dan penyemaian keadaan. Dinilai dalam BF16 pada 2×H100, mengekalkan 98.7% kualiti garis dasar AR, dengan daya pemprosesan penjanaan meningkat 2.42 kali ganda (γ=0.8, saiz blok S=16). Penyahbunyi dilatih pada kira-kira 2.1T token, tulang belakang menggunakan prapelatihan 25T token. Jumlah parameter kira-kira 60B, parameter aktif setiap token kira-kira 3B/menara. Menyokong tiga mod penyahkodan: difusi, AR simulasi dan AR.
Maklumat penting
- NVIDIA melancarkan Nemotron-Labs-TwoTower,model bahasa difusi berasaskan tulang belakang…
- Menggunakan seni bina dua menara: menara konteks dibekukan,menara penyahbunyi dilatih,bekerjasama…
- Dinilai dalam BF16 pada 2×H100,mengekalkan 98.
- 7% kualiti garis dasar AR,dengan daya pemprosesan penjanaan meningkat 2.
- 42 kali ganda (γ=0.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- MarkTechPost(RSS)
- Kategori
- Pelancaran Model
- Skor AI
- 73
NVIDIA这个TwoTower把扩散解码接在已有的AR骨干上,几乎无损质量却让吞吐翻倍,并且开源可商用,对批量文本生成的团队是实在的加速工具。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: NVIDIA melancarkan model bahasa difusi berat terbuka Nemotron-Labs-TwoTower. 1 Julai 2026. https://new.nat6.net/ms/news/cmr1ti4v001xlsl8zovi1yoqa/