Ra mắt mô hình

NVIDIA phát hành Nemotron-Labs-3-Puzzle-75B-A9B: mô hình MoE hỗn hợp nén, thông lượng máy chủ tăng 2,03 lần

Tiêu đề gốc:NVIDIA Releases Nemotron-Labs-3-Puzzle-75B-A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput at Matched User Throughput

Tóm tắt AI

NVIDIA phát hành biến thể nén Nemotron-Labs-3-Puzzle-75B-A9B của Nemotron-3-Super, tổng tham số giảm từ 120,7B xuống 75,3B, tham số hoạt động giảm từ 12,8B xuống 9,3B, giữ bố cục hỗn hợp 88 khối (40 Mamba, 40 MoE, 8 attention). Trên nút 8×B200, ở kịch bản 8K/64K với thông lượng người dùng khớp ≥100 tok/s, thông lượng máy chủ tăng 2,03 lần. Trên một H100, số tác vụ đồng thời 1M-token tăng từ 1 lên 8, dung lượng trọng số giảm từ 70 GB xuống 44,5 GB. Phương pháp Puzzle lặp đạt điểm trung bình cao hơn 0,57 so với một bước. Đánh đổi: Arena-Hard-V2 giảm 4,2 điểm, SWE-Bench giảm 2,6 điểm. Hugging Face cung cấp checkpoint BF16, FP8, NVFP4.

Thông tin chính

  • NVIDIA phát hành biến thể nén Nemotron-Labs-3-Puzzle-75B-A9B của Nemotron-3-Super,tổng tham số…
  • Trên nút 8×B200,ở kịch bản 8K/64K với thông lượng người dùng khớp ≥100 tok/s,thông lượng máy chủ…
  • Trên một H100,số tác vụ đồng thời 1M-token tăng từ 1 lên 8,dung lượng trọng số giảm từ 70 GB xuống…
  • Phương pháp Puzzle lặp đạt điểm trung bình cao hơn 0,57 so với một bước.
  • Đánh đổi: Arena-Hard-V2 giảm 4,2 điểm,SWE-Bench giảm 2,6 điểm.

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
MarkTechPost(RSS)
Danh mục
Ra mắt mô hình
Điểm AI
70
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

把120B MoE压到75B后,同节点服务吞吐几乎翻倍,单张H100百万token并发从1涨到8。对长上下文RAG和AI编码助手这类对吞吐敏感的产品来说,这不是论文调优,是实打实的降本方案。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: NVIDIA phát hành Nemotron-Labs-3-Puzzle-75B-A9B: mô hình MoE hỗn hợp nén, thông lượng máy chủ tăng 2,03 lần. 9 tháng 7 2026. https://new.nat6.net/vi/news/cmrd9x7xz01wzih4bch5uoywh/

Xem tất cả →