NVIDIA выпустила открытую диффузионную языковую модель Nemotron-Labs-TwoTower
Оригинальный заголовок:NVIDIA Releases Nemotron-Labs-TwoTower: an Open-Weight Diffusion Language Model Built on a Frozen Autoregressive Nemotron-3-Nano-30B-A3B Backbone
ИИ-резюме
NVIDIA выпустила Nemotron-Labs-TwoTower — диффузионную языковую модель на основе замороженного авторегрессионного бэкбона Nemotron-3-Nano-30B-A3B. Используется двухбашенная архитектура: башня контекста заморожена, башня шумоподавителя обучается, взаимодействие обеспечивается выравниванием слоёв через кросс-внимание и посевом состояния. При оценке в BF16 на 2×H100 сохранено 98.7% качества AR-базовой линии, пропускная способность генерации выросла в 2.42 раза (γ=0.8, размер блока S=16). Шумоподавитель обучен на примерно 2.1T токенов, бэкбон предобучен на 25T токенов. Всего около 60B параметров, активных на токен — около 3B на башню. Поддерживаются три режима декодирования: диффузионный, имитация AR и AR.
Ключевые моменты
- NVIDIA выпустила Nemotron-Labs-TwoTower — диффузионную языковую модель на основе замороженного…
- Используется двухбашенная архитектура: башня контекста заморожена,башня шумоподавителя…
- При оценке в BF16 на 2×H100 сохранено 98.
- 7% качества AR-базовой линии,пропускная способность генерации выросла в 2.
- 42 раза (γ=0.
Кратко
- Опубликовано
- Обновлено
- Источник
- MarkTechPost(RSS)
- Категория
- Релизы моделей
- Оценка ИИ
- 73
NVIDIA这个TwoTower把扩散解码接在已有的AR骨干上,几乎无损质量却让吞吐翻倍,并且开源可商用,对批量文本生成的团队是实在的加速工具。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: NVIDIA выпустила открытую диффузионную языковую модель Nemotron-Labs-TwoTower. 1 июля 2026. https://new.nat6.net/ru/news/cmr1ti4v001xlsl8zovi1yoqa/