Sorties de modèles

NVIDIA publie Nemotron-Labs-TwoTower, un modèle de langage à diffusion à poids ouverts

Titre original:NVIDIA Releases Nemotron-Labs-TwoTower: an Open-Weight Diffusion Language Model Built on a Frozen Autoregressive Nemotron-3-Nano-30B-A3B Backbone

Résumé IA

NVIDIA publie Nemotron-Labs-TwoTower, un modèle de langage à diffusion fondé sur le backbone autorégressif gelé Nemotron-3-Nano-30B-A3B. Il adopte une architecture à deux tours : la tour de contexte est gelée, la tour débruiteur est entraînée, les deux coopérant par attention croisée alignée sur les couches et amorçage d'état. Évalué en BF16 sur 2×H100, il conserve 98,7 % de la qualité de la référence AR et améliore le débit de génération de 2,42 fois (γ=0,8, taille de bloc S=16). Le débruiteur est entraîné sur environ 2,1 T de tokens, le backbone étant pré-entraîné sur 25 T de tokens. Le modèle compte environ 60 B de paramètres au total, avec environ 3 B de paramètres actifs par token et par tour. Il prend en charge trois modes de décodage : diffusion, AR simulé et AR.

Points clés

  • NVIDIA publie Nemotron-Labs-TwoTower,un modèle de langage à diffusion fondé sur le backbone…
  • Il adopte une architecture à deux tours: la tour de contexte est gelée,la tour débruiteur est…
  • Évalué en BF16 sur 2×H100,il conserve 98,7 % de la qualité de la référence AR et améliore le débit…
  • Le débruiteur est entraîné sur environ 2,1 T de tokens,le backbone étant pré-entraîné sur 25 T de…
  • Le modèle compte environ 60 B de paramètres au total,avec environ 3 B de paramètres actifs par…

En bref

Publié
Mis à jour
Source
MarkTechPost(RSS)
Catégorie
Sorties de modèles
Score IA
73
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

NVIDIA这个TwoTower把扩散解码接在已有的AR骨干上,几乎无损质量却让吞吐翻倍,并且开源可商用,对批量文本生成的团队是实在的加速工具。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : NVIDIA publie Nemotron-Labs-TwoTower, un modèle de langage à diffusion à poids ouverts. 1. juillet 2026. https://new.nat6.net/fr/news/cmr1ti4v001xlsl8zovi1yoqa/

Tout voir →