Ra mắt mô hình

NVIDIA ra mắt mô hình ngôn ngữ khuếch tán trọng số mở Nemotron-Labs-TwoTower

Tiêu đề gốc:NVIDIA Releases Nemotron-Labs-TwoTower: an Open-Weight Diffusion Language Model Built on a Frozen Autoregressive Nemotron-3-Nano-30B-A3B Backbone

Tóm tắt AI

NVIDIA ra mắt Nemotron-Labs-TwoTower, mô hình ngôn ngữ khuếch tán dựa trên backbone tự hồi quy đóng băng Nemotron-3-Nano-30B-A3B. Áp dụng kiến trúc hai tháp: tháp ngữ cảnh đóng băng, tháp khử nhiễu được huấn luyện, phối hợp qua cross-attention căn chỉnh tầng và gieo trạng thái. Đánh giá BF16 trên 2×H100, giữ 98,7% chất lượng baseline AR, thông lượng sinh tăng 2,42 lần (γ=0,8, kích thước khối S=16). Bộ khử nhiễu huấn luyện trên khoảng 2,1T token, backbone tiền huấn luyện với 25T token. Tổng tham số khoảng 60B, tham số hoạt động mỗi token khoảng 3B/tháp. Hỗ trợ ba chế độ giải mã: khuếch tán, mô phỏng AR và AR.

Thông tin chính

  • NVIDIA ra mắt Nemotron-Labs-TwoTower,mô hình ngôn ngữ khuếch tán dựa trên backbone tự hồi quy đóng…
  • Áp dụng kiến trúc hai tháp: tháp ngữ cảnh đóng băng,tháp khử nhiễu được huấn luyện,phối hợp qua…
  • Đánh giá BF16 trên 2×H100,giữ 98,7% chất lượng baseline AR,thông lượng sinh tăng 2,42 lần…
  • Bộ khử nhiễu huấn luyện trên khoảng 2,1T token,backbone tiền huấn luyện với 25T token.
  • Tổng tham số khoảng 60B,tham số hoạt động mỗi token khoảng 3B/tháp.

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
MarkTechPost(RSS)
Danh mục
Ra mắt mô hình
Điểm AI
73
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

NVIDIA这个TwoTower把扩散解码接在已有的AR骨干上,几乎无损质量却让吞吐翻倍,并且开源可商用,对批量文本生成的团队是实在的加速工具。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: NVIDIA ra mắt mô hình ngôn ngữ khuếch tán trọng số mở Nemotron-Labs-TwoTower. 1 tháng 7 2026. https://new.nat6.net/vi/news/cmr1ti4v001xlsl8zovi1yoqa/

Xem tất cả →