Inilabas ng NVIDIA ang Nemotron-Labs-TwoTower open-weight diffusion language model
Orihinal na pamagat:NVIDIA Releases Nemotron-Labs-TwoTower: an Open-Weight Diffusion Language Model Built on a Frozen Autoregressive Nemotron-3-Nano-30B-A3B Backbone
AI summary
Inilabas ng NVIDIA ang Nemotron-Labs-TwoTower, isang diffusion language model na nakabase sa frozen na autoregressive backbone na Nemotron-3-Nano-30B-A3B. Gumagamit ito ng two-tower architecture: frozen ang context tower, sinasanay ang denoiser tower, at nagtutulungan sa pamamagitan ng layer-aligned cross-attention at state seeding. Sa BF16 evaluation sa 2×H100, napanatili ang 98.7% ng kalidad ng AR baseline, at tumaas ang generation throughput ng 2.42 beses (γ=0.8, block size S=16). Sinanay ang denoiser sa humigit-kumulang 2.1T token, at ang backbone ay gumamit ng 25T token pretraining. May kabuuang humigit-kumulang 60B parameter, at humigit-kumulang 3B active parameter bawat token/bawat tower. Sinusuportahan ang tatlong decoding mode: diffusion, simulated AR at AR.
Mahahalagang impormasyon
- Inilabas ng NVIDIA ang Nemotron-Labs-TwoTower,isang diffusion language model na nakabase sa frozen…
- Gumagamit ito ng two-tower architecture: frozen ang context tower,sinasanay ang denoiser tower,at…
- Sa BF16 evaluation sa 2×H100,napanatili ang 98.
- 7% ng kalidad ng AR baseline,at tumaas ang generation throughput ng 2.
- 42 beses (γ=0.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- MarkTechPost(RSS)
- Kategorya
- Paglabas ng modelo
- AI na marka
- 73
NVIDIA这个TwoTower把扩散解码接在已有的AR骨干上,几乎无损质量却让吞吐翻倍,并且开源可商用,对批量文本生成的团队是实在的加速工具。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Inilabas ng NVIDIA ang Nemotron-Labs-TwoTower open-weight diffusion language model. 1 Hulyo 2026. https://new.nat6.net/fil/news/cmr1ti4v001xlsl8zovi1yoqa/