NVIDIA ra mắt mô hình ngôn ngữ khuếch tán trọng số mở Nemotron-Labs-TwoTower
Tiêu đề gốc:NVIDIA Releases Nemotron-Labs-TwoTower: an Open-Weight Diffusion Language Model Built on a Frozen Autoregressive Nemotron-3-Nano-30B-A3B Backbone
Tóm tắt AI
NVIDIA ra mắt Nemotron-Labs-TwoTower, mô hình ngôn ngữ khuếch tán dựa trên backbone tự hồi quy đóng băng Nemotron-3-Nano-30B-A3B. Áp dụng kiến trúc hai tháp: tháp ngữ cảnh đóng băng, tháp khử nhiễu được huấn luyện, phối hợp qua cross-attention căn chỉnh tầng và gieo trạng thái. Đánh giá BF16 trên 2×H100, giữ 98,7% chất lượng baseline AR, thông lượng sinh tăng 2,42 lần (γ=0,8, kích thước khối S=16). Bộ khử nhiễu huấn luyện trên khoảng 2,1T token, backbone tiền huấn luyện với 25T token. Tổng tham số khoảng 60B, tham số hoạt động mỗi token khoảng 3B/tháp. Hỗ trợ ba chế độ giải mã: khuếch tán, mô phỏng AR và AR.
Thông tin chính
- NVIDIA ra mắt Nemotron-Labs-TwoTower,mô hình ngôn ngữ khuếch tán dựa trên backbone tự hồi quy đóng…
- Áp dụng kiến trúc hai tháp: tháp ngữ cảnh đóng băng,tháp khử nhiễu được huấn luyện,phối hợp qua…
- Đánh giá BF16 trên 2×H100,giữ 98,7% chất lượng baseline AR,thông lượng sinh tăng 2,42 lần…
- Bộ khử nhiễu huấn luyện trên khoảng 2,1T token,backbone tiền huấn luyện với 25T token.
- Tổng tham số khoảng 60B,tham số hoạt động mỗi token khoảng 3B/tháp.
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- MarkTechPost(RSS)
- Danh mục
- Ra mắt mô hình
- Điểm AI
- 73
NVIDIA这个TwoTower把扩散解码接在已有的AR骨干上,几乎无损质量却让吞吐翻倍,并且开源可商用,对批量文本生成的团队是实在的加速工具。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: NVIDIA ra mắt mô hình ngôn ngữ khuếch tán trọng số mở Nemotron-Labs-TwoTower. 1 tháng 7 2026. https://new.nat6.net/vi/news/cmr1ti4v001xlsl8zovi1yoqa/