NVIDIA publie Nemotron-Labs-TwoTower, un modèle de langage à diffusion à poids ouverts
Titre original:NVIDIA Releases Nemotron-Labs-TwoTower: an Open-Weight Diffusion Language Model Built on a Frozen Autoregressive Nemotron-3-Nano-30B-A3B Backbone
Résumé IA
NVIDIA publie Nemotron-Labs-TwoTower, un modèle de langage à diffusion fondé sur le backbone autorégressif gelé Nemotron-3-Nano-30B-A3B. Il adopte une architecture à deux tours : la tour de contexte est gelée, la tour débruiteur est entraînée, les deux coopérant par attention croisée alignée sur les couches et amorçage d'état. Évalué en BF16 sur 2×H100, il conserve 98,7 % de la qualité de la référence AR et améliore le débit de génération de 2,42 fois (γ=0,8, taille de bloc S=16). Le débruiteur est entraîné sur environ 2,1 T de tokens, le backbone étant pré-entraîné sur 25 T de tokens. Le modèle compte environ 60 B de paramètres au total, avec environ 3 B de paramètres actifs par token et par tour. Il prend en charge trois modes de décodage : diffusion, AR simulé et AR.
Points clés
- NVIDIA publie Nemotron-Labs-TwoTower,un modèle de langage à diffusion fondé sur le backbone…
- Il adopte une architecture à deux tours: la tour de contexte est gelée,la tour débruiteur est…
- Évalué en BF16 sur 2×H100,il conserve 98,7 % de la qualité de la référence AR et améliore le débit…
- Le débruiteur est entraîné sur environ 2,1 T de tokens,le backbone étant pré-entraîné sur 25 T de…
- Le modèle compte environ 60 B de paramètres au total,avec environ 3 B de paramètres actifs par…
En bref
- Publié
- Mis à jour
- Source
- MarkTechPost(RSS)
- Catégorie
- Sorties de modèles
- Score IA
- 73
NVIDIA这个TwoTower把扩散解码接在已有的AR骨干上,几乎无损质量却让吞吐翻倍,并且开源可商用,对批量文本生成的团队是实在的加速工具。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : NVIDIA publie Nemotron-Labs-TwoTower, un modèle de langage à diffusion à poids ouverts. 1. juillet 2026. https://new.nat6.net/fr/news/cmr1ti4v001xlsl8zovi1yoqa/