Rilis Model

NVIDIA merilis model bahasa difusi berbobot terbuka Nemotron-Labs-TwoTower

Judul asli:NVIDIA Releases Nemotron-Labs-TwoTower: an Open-Weight Diffusion Language Model Built on a Frozen Autoregressive Nemotron-3-Nano-30B-A3B Backbone

Ringkasan AI

NVIDIA merilis Nemotron-Labs-TwoTower, model bahasa difusi berbasis backbone autoregresif yang dibekukan, Nemotron-3-Nano-30B-A3B. Menggunakan arsitektur dua menara: menara konteks dibekukan, menara denoiser dilatih, berkolaborasi melalui cross-attention yang selaras lapisan dan state seeding. Dievaluasi dengan BF16 pada 2×H100, mempertahankan 98,7% kualitas baseline AR, dengan throughput generasi meningkat 2,42 kali (γ=0,8, ukuran blok S=16). Denoiser dilatih pada sekitar 2,1T token, backbone menggunakan pra-pelatihan 25T token. Total parameter sekitar 60B, parameter aktif per token sekitar 3B/menara. Mendukung tiga mode decoding: difusi, AR simulasi, dan AR.

Poin utama

  • NVIDIA merilis Nemotron-Labs-TwoTower,model bahasa difusi berbasis backbone autoregresif yang…
  • Menggunakan arsitektur dua menara: menara konteks dibekukan,menara denoiser dilatih,berkolaborasi…
  • Dievaluasi dengan BF16 pada 2×H100,mempertahankan 98,7% kualitas baseline AR,dengan throughput…
  • Denoiser dilatih pada sekitar 2,1T token,backbone menggunakan pra-pelatihan 25T token.
  • Total parameter sekitar 60B,parameter aktif per token sekitar 3B/menara.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
MarkTechPost(RSS)
Kategori
Rilis Model
Skor AI
73
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

NVIDIA这个TwoTower把扩散解码接在已有的AR骨干上,几乎无损质量却让吞吐翻倍,并且开源可商用,对批量文本生成的团队是实在的加速工具。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: NVIDIA merilis model bahasa difusi berbobot terbuka Nemotron-Labs-TwoTower. 1 Juli 2026. https://new.nat6.net/id/news/cmr1ti4v001xlsl8zovi1yoqa/

Lihat semua →