モデル公開

NVIDIAがNemotron-Labs-TwoTowerオープンウェイト拡散言語モデルを発表

原題:NVIDIA Releases Nemotron-Labs-TwoTower: an Open-Weight Diffusion Language Model Built on a Frozen Autoregressive Nemotron-3-Nano-30B-A3B Backbone

AI 要約

NVIDIAは、凍結した自己回帰バックボーンNemotron-3-Nano-30B-A3Bに基づく拡散言語モデルNemotron-Labs-TwoTowerを発表した。二塔アーキテクチャを採用し、コンテキスト塔は凍結、ノイズ除去器塔はトレーニングされ、層整列クロスアテンションと状態シーディングで協調する。2×H100でBF16評価を行い、ARベースラインの品質を98.7%保持し、生成スループットは2.42倍に向上した(γ=0.8、ブロックサイズS=16)。ノイズ除去器は約2.1Tトークンでトレーニングされ、バックボーンは25Tトークンで事前トレーニングされた。総パラメータは約60B、トークンあたりのアクティブパラメータは各塔約3B。拡散、模擬AR、ARの3つのデコードモードをサポートする。

要点

  • NVIDIAは、凍結した自己回帰バックボーンNemotron-3-Nano-30B-A3Bに基づく拡散言語モデルNemotron-Labs-TwoTowerを発表した。
  • 二塔アーキテクチャを採用し、コンテキスト塔は凍結、ノイズ除去器塔はトレーニングされ、層整列クロスアテンションと状態シーディングで協調する。
  • 2×H100でBF16評価を行い、ARベースラインの品質を98.
  • 7%保持し、生成スループットは2.
  • 42倍に向上した(γ=0.

概要

公開日時
更新日時
出典
MarkTechPost(RSS)
カテゴリ
モデル公開
AI スコア
73
原文を読む 情報源で全文を読む
おすすめの理由

NVIDIA这个TwoTower把扩散解码接在已有的AR骨干上,几乎无损质量却让吞吐翻倍,并且开源可商用,对批量文本生成的团队是实在的加速工具。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:NVIDIAがNemotron-Labs-TwoTowerオープンウェイト拡散言語モデルを発表。2026年7月1日。https://new.nat6.net/ja/news/cmr1ti4v001xlsl8zovi1yoqa/

すべて見る →