Paglabas ng modelo

Inilabas ng NVIDIA ang Nemotron-Labs-TwoTower open-weight diffusion language model

Orihinal na pamagat:NVIDIA Releases Nemotron-Labs-TwoTower: an Open-Weight Diffusion Language Model Built on a Frozen Autoregressive Nemotron-3-Nano-30B-A3B Backbone

AI summary

Inilabas ng NVIDIA ang Nemotron-Labs-TwoTower, isang diffusion language model na nakabase sa frozen na autoregressive backbone na Nemotron-3-Nano-30B-A3B. Gumagamit ito ng two-tower architecture: frozen ang context tower, sinasanay ang denoiser tower, at nagtutulungan sa pamamagitan ng layer-aligned cross-attention at state seeding. Sa BF16 evaluation sa 2×H100, napanatili ang 98.7% ng kalidad ng AR baseline, at tumaas ang generation throughput ng 2.42 beses (γ=0.8, block size S=16). Sinanay ang denoiser sa humigit-kumulang 2.1T token, at ang backbone ay gumamit ng 25T token pretraining. May kabuuang humigit-kumulang 60B parameter, at humigit-kumulang 3B active parameter bawat token/bawat tower. Sinusuportahan ang tatlong decoding mode: diffusion, simulated AR at AR.

Mahahalagang impormasyon

  • Inilabas ng NVIDIA ang Nemotron-Labs-TwoTower,isang diffusion language model na nakabase sa frozen…
  • Gumagamit ito ng two-tower architecture: frozen ang context tower,sinasanay ang denoiser tower,at…
  • Sa BF16 evaluation sa 2×H100,napanatili ang 98.
  • 7% ng kalidad ng AR baseline,at tumaas ang generation throughput ng 2.
  • 42 beses (γ=0.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
MarkTechPost(RSS)
Kategorya
Paglabas ng modelo
AI na marka
73
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

NVIDIA这个TwoTower把扩散解码接在已有的AR骨干上,几乎无损质量却让吞吐翻倍,并且开源可商用,对批量文本生成的团队是实在的加速工具。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Inilabas ng NVIDIA ang Nemotron-Labs-TwoTower open-weight diffusion language model. 1 Hulyo 2026. https://new.nat6.net/fil/news/cmr1ti4v001xlsl8zovi1yoqa/

Tingnan lahat →