NVIDIA merilis Nemotron-Labs-3-Puzzle-75B-A9B: model MoE hibrida terkompresi, throughput server meningkat 2,03 kali
Judul asli:NVIDIA Releases Nemotron-Labs-3-Puzzle-75B-A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput at Matched User Throughput
Ringkasan AI
NVIDIA merilis varian terkompresi dari Nemotron-3-Super, Nemotron-Labs-3-Puzzle-75B-A9B, dengan total parameter turun dari 120,7B menjadi 75,3B dan parameter aktif turun dari 12,8B menjadi 9,3B, mempertahankan tata letak hibrida 88 blok (40 Mamba, 40 MoE, 8 attention). Pada node 8×B200, dalam skenario 8K/64K dengan throughput pengguna yang cocok ≥100 tok/s, throughput server meningkat 2,03 kali. Pada H100 tunggal, konkurensi 1M-token meningkat dari 1 menjadi 8, dan penggunaan bobot turun dari 70 GB menjadi 44,5 GB. Metode Puzzle iteratif memperoleh skor rata-rata 0,57 lebih tinggi daripada satu langkah. Biayanya: Arena-Hard-V2 turun 4,2 poin, SWE-Bench turun 2,6 poin. Hugging Face menyediakan checkpoint BF16, FP8, dan NVFP4.
Poin utama
- NVIDIA merilis varian terkompresi dari Nemotron-3-Super,Nemotron-Labs-3-Puzzle-75B-A9B,dengan…
- Pada node 8×B200,dalam skenario 8K/64K dengan throughput pengguna yang cocok ≥100 tok/s,throughput…
- Pada H100 tunggal,konkurensi 1M-token meningkat dari 1 menjadi 8,dan penggunaan bobot turun dari…
- Metode Puzzle iteratif memperoleh skor rata-rata 0,57 lebih tinggi daripada satu langkah.
- Biayanya: Arena-Hard-V2 turun 4,2 poin,SWE-Bench turun 2,6 poin.
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- MarkTechPost(RSS)
- Kategori
- Rilis Model
- Skor AI
- 70
把120B MoE压到75B后,同节点服务吞吐几乎翻倍,单张H100百万token并发从1涨到8。对长上下文RAG和AI编码助手这类对吞吐敏感的产品来说,这不是论文调优,是实打实的降本方案。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: NVIDIA merilis Nemotron-Labs-3-Puzzle-75B-A9B: model MoE hibrida terkompresi, throughput server meningkat 2,03 kali. 9 Juli 2026. https://new.nat6.net/id/news/cmrd9x7xz01wzih4bch5uoywh/