NVIDIA phát hành Nemotron-Labs-3-Puzzle-75B-A9B: mô hình MoE hỗn hợp nén, thông lượng máy chủ tăng 2,03 lần
Tiêu đề gốc:NVIDIA Releases Nemotron-Labs-3-Puzzle-75B-A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput at Matched User Throughput
Tóm tắt AI
NVIDIA phát hành biến thể nén Nemotron-Labs-3-Puzzle-75B-A9B của Nemotron-3-Super, tổng tham số giảm từ 120,7B xuống 75,3B, tham số hoạt động giảm từ 12,8B xuống 9,3B, giữ bố cục hỗn hợp 88 khối (40 Mamba, 40 MoE, 8 attention). Trên nút 8×B200, ở kịch bản 8K/64K với thông lượng người dùng khớp ≥100 tok/s, thông lượng máy chủ tăng 2,03 lần. Trên một H100, số tác vụ đồng thời 1M-token tăng từ 1 lên 8, dung lượng trọng số giảm từ 70 GB xuống 44,5 GB. Phương pháp Puzzle lặp đạt điểm trung bình cao hơn 0,57 so với một bước. Đánh đổi: Arena-Hard-V2 giảm 4,2 điểm, SWE-Bench giảm 2,6 điểm. Hugging Face cung cấp checkpoint BF16, FP8, NVFP4.
Thông tin chính
- NVIDIA phát hành biến thể nén Nemotron-Labs-3-Puzzle-75B-A9B của Nemotron-3-Super,tổng tham số…
- Trên nút 8×B200,ở kịch bản 8K/64K với thông lượng người dùng khớp ≥100 tok/s,thông lượng máy chủ…
- Trên một H100,số tác vụ đồng thời 1M-token tăng từ 1 lên 8,dung lượng trọng số giảm từ 70 GB xuống…
- Phương pháp Puzzle lặp đạt điểm trung bình cao hơn 0,57 so với một bước.
- Đánh đổi: Arena-Hard-V2 giảm 4,2 điểm,SWE-Bench giảm 2,6 điểm.
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- MarkTechPost(RSS)
- Danh mục
- Ra mắt mô hình
- Điểm AI
- 70
把120B MoE压到75B后,同节点服务吞吐几乎翻倍,单张H100百万token并发从1涨到8。对长上下文RAG和AI编码助手这类对吞吐敏感的产品来说,这不是论文调优,是实打实的降本方案。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: NVIDIA phát hành Nemotron-Labs-3-Puzzle-75B-A9B: mô hình MoE hỗn hợp nén, thông lượng máy chủ tăng 2,03 lần. 9 tháng 7 2026. https://new.nat6.net/vi/news/cmrd9x7xz01wzih4bch5uoywh/