NVIDIAがNemotron-Labs-TwoTowerオープンウェイト拡散言語モデルを発表
原題:NVIDIA Releases Nemotron-Labs-TwoTower: an Open-Weight Diffusion Language Model Built on a Frozen Autoregressive Nemotron-3-Nano-30B-A3B Backbone
AI 要約
NVIDIAは、凍結した自己回帰バックボーンNemotron-3-Nano-30B-A3Bに基づく拡散言語モデルNemotron-Labs-TwoTowerを発表した。二塔アーキテクチャを採用し、コンテキスト塔は凍結、ノイズ除去器塔はトレーニングされ、層整列クロスアテンションと状態シーディングで協調する。2×H100でBF16評価を行い、ARベースラインの品質を98.7%保持し、生成スループットは2.42倍に向上した(γ=0.8、ブロックサイズS=16)。ノイズ除去器は約2.1Tトークンでトレーニングされ、バックボーンは25Tトークンで事前トレーニングされた。総パラメータは約60B、トークンあたりのアクティブパラメータは各塔約3B。拡散、模擬AR、ARの3つのデコードモードをサポートする。
要点
- NVIDIAは、凍結した自己回帰バックボーンNemotron-3-Nano-30B-A3Bに基づく拡散言語モデルNemotron-Labs-TwoTowerを発表した。
- 二塔アーキテクチャを採用し、コンテキスト塔は凍結、ノイズ除去器塔はトレーニングされ、層整列クロスアテンションと状態シーディングで協調する。
- 2×H100でBF16評価を行い、ARベースラインの品質を98.
- 7%保持し、生成スループットは2.
- 42倍に向上した(γ=0.
概要
- 公開日時
- 更新日時
- カテゴリ
- モデル公開
- AI スコア
- 73
NVIDIA这个TwoTower把扩散解码接在已有的AR骨干上,几乎无损质量却让吞吐翻倍,并且开源可商用,对批量文本生成的团队是实在的加速工具。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:NVIDIAがNemotron-Labs-TwoTowerオープンウェイト拡散言語モデルを発表。2026年7月1日。https://new.nat6.net/ja/news/cmr1ti4v001xlsl8zovi1yoqa/