NVIDIA lancar Nemotron-Labs-3-Puzzle-75B-A9B: model MoE hibrid termampat, daya pemprosesan pelayan meningkat 2.03 kali
Tajuk asal:NVIDIA Releases Nemotron-Labs-3-Puzzle-75B-A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput at Matched User Throughput
Ringkasan AI
NVIDIA melancarkan varian termampat Nemotron-3-Super iaitu Nemotron-Labs-3-Puzzle-75B-A9B, dengan jumlah parameter menurun daripada 120.7B kepada 75.3B dan parameter aktif menurun daripada 12.8B kepada 9.3B, sambil mengekalkan susun atur hibrid 88 blok (40 Mamba, 40 MoE, 8 perhatian). Pada nod 8×B200, dalam senario 8K/64K dengan daya pemprosesan pengguna yang sepadan ≥100 tok/s, daya pemprosesan pelayan meningkat 2.03 kali. Pada H100 tunggal, konkurensi 1M-token meningkat daripada 1 kepada 8, dan penggunaan pemberat menurun daripada 70 GB kepada 44.5 GB. Kaedah Puzzle berulang memperoleh skor purata 0.57 lebih tinggi daripada satu langkah. Kosnya: Arena-Hard-V2 turun 4.2 mata dan SWE-Bench turun 2.6 mata. Hugging Face menyediakan pusat pemeriksaan BF16, FP8 dan NVFP4.
Maklumat penting
- NVIDIA melancarkan varian termampat Nemotron-3-Super iaitu Nemotron-Labs-3-Puzzle-75B-A9B,dengan…
- 7B kepada 75.
- 3B dan parameter aktif menurun daripada 12.
- 8B kepada 9.
- 3B,sambil mengekalkan susun atur hibrid 88 blok (40 Mamba,40 MoE,8 perhatian).
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- MarkTechPost(RSS)
- Kategori
- Pelancaran Model
- Skor AI
- 70
把120B MoE压到75B后,同节点服务吞吐几乎翻倍,单张H100百万token并发从1涨到8。对长上下文RAG和AI编码助手这类对吞吐敏感的产品来说,这不是论文调优,是实打实的降本方案。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: NVIDIA lancar Nemotron-Labs-3-Puzzle-75B-A9B: model MoE hibrid termampat, daya pemprosesan pelayan meningkat 2.03 kali. 9 Julai 2026. https://new.nat6.net/ms/news/cmrd9x7xz01wzih4bch5uoywh/