NVIDIA merilis model bahasa difusi berbobot terbuka Nemotron-Labs-TwoTower
Judul asli:NVIDIA Releases Nemotron-Labs-TwoTower: an Open-Weight Diffusion Language Model Built on a Frozen Autoregressive Nemotron-3-Nano-30B-A3B Backbone
Ringkasan AI
NVIDIA merilis Nemotron-Labs-TwoTower, model bahasa difusi berbasis backbone autoregresif yang dibekukan, Nemotron-3-Nano-30B-A3B. Menggunakan arsitektur dua menara: menara konteks dibekukan, menara denoiser dilatih, berkolaborasi melalui cross-attention yang selaras lapisan dan state seeding. Dievaluasi dengan BF16 pada 2×H100, mempertahankan 98,7% kualitas baseline AR, dengan throughput generasi meningkat 2,42 kali (γ=0,8, ukuran blok S=16). Denoiser dilatih pada sekitar 2,1T token, backbone menggunakan pra-pelatihan 25T token. Total parameter sekitar 60B, parameter aktif per token sekitar 3B/menara. Mendukung tiga mode decoding: difusi, AR simulasi, dan AR.
Poin utama
- NVIDIA merilis Nemotron-Labs-TwoTower,model bahasa difusi berbasis backbone autoregresif yang…
- Menggunakan arsitektur dua menara: menara konteks dibekukan,menara denoiser dilatih,berkolaborasi…
- Dievaluasi dengan BF16 pada 2×H100,mempertahankan 98,7% kualitas baseline AR,dengan throughput…
- Denoiser dilatih pada sekitar 2,1T token,backbone menggunakan pra-pelatihan 25T token.
- Total parameter sekitar 60B,parameter aktif per token sekitar 3B/menara.
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- MarkTechPost(RSS)
- Kategori
- Rilis Model
- Skor AI
- 73
NVIDIA这个TwoTower把扩散解码接在已有的AR骨干上,几乎无损质量却让吞吐翻倍,并且开源可商用,对批量文本生成的团队是实在的加速工具。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: NVIDIA merilis model bahasa difusi berbobot terbuka Nemotron-Labs-TwoTower. 1 Juli 2026. https://new.nat6.net/id/news/cmr1ti4v001xlsl8zovi1yoqa/