Релизы моделей

NVIDIA выпустила открытую диффузионную языковую модель Nemotron-Labs-TwoTower

Оригинальный заголовок:NVIDIA Releases Nemotron-Labs-TwoTower: an Open-Weight Diffusion Language Model Built on a Frozen Autoregressive Nemotron-3-Nano-30B-A3B Backbone

ИИ-резюме

NVIDIA выпустила Nemotron-Labs-TwoTower — диффузионную языковую модель на основе замороженного авторегрессионного бэкбона Nemotron-3-Nano-30B-A3B. Используется двухбашенная архитектура: башня контекста заморожена, башня шумоподавителя обучается, взаимодействие обеспечивается выравниванием слоёв через кросс-внимание и посевом состояния. При оценке в BF16 на 2×H100 сохранено 98.7% качества AR-базовой линии, пропускная способность генерации выросла в 2.42 раза (γ=0.8, размер блока S=16). Шумоподавитель обучен на примерно 2.1T токенов, бэкбон предобучен на 25T токенов. Всего около 60B параметров, активных на токен — около 3B на башню. Поддерживаются три режима декодирования: диффузионный, имитация AR и AR.

Ключевые моменты

  • NVIDIA выпустила Nemotron-Labs-TwoTower — диффузионную языковую модель на основе замороженного…
  • Используется двухбашенная архитектура: башня контекста заморожена,башня шумоподавителя…
  • При оценке в BF16 на 2×H100 сохранено 98.
  • 7% качества AR-базовой линии,пропускная способность генерации выросла в 2.
  • 42 раза (γ=0.

Кратко

Опубликовано
Обновлено
Источник
MarkTechPost(RSS)
Категория
Релизы моделей
Оценка ИИ
73
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

NVIDIA这个TwoTower把扩散解码接在已有的AR骨干上,几乎无损质量却让吞吐翻倍,并且开源可商用,对批量文本生成的团队是实在的加速工具。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: NVIDIA выпустила открытую диффузионную языковую модель Nemotron-Labs-TwoTower. 1 июля 2026. https://new.nat6.net/ru/news/cmr1ti4v001xlsl8zovi1yoqa/

Смотреть все →