Pelancaran Model

NVIDIA lancar Nemotron-Labs-3-Puzzle-75B-A9B: model MoE hibrid termampat, daya pemprosesan pelayan meningkat 2.03 kali

Tajuk asal:NVIDIA Releases Nemotron-Labs-3-Puzzle-75B-A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput at Matched User Throughput

Ringkasan AI

NVIDIA melancarkan varian termampat Nemotron-3-Super iaitu Nemotron-Labs-3-Puzzle-75B-A9B, dengan jumlah parameter menurun daripada 120.7B kepada 75.3B dan parameter aktif menurun daripada 12.8B kepada 9.3B, sambil mengekalkan susun atur hibrid 88 blok (40 Mamba, 40 MoE, 8 perhatian). Pada nod 8×B200, dalam senario 8K/64K dengan daya pemprosesan pengguna yang sepadan ≥100 tok/s, daya pemprosesan pelayan meningkat 2.03 kali. Pada H100 tunggal, konkurensi 1M-token meningkat daripada 1 kepada 8, dan penggunaan pemberat menurun daripada 70 GB kepada 44.5 GB. Kaedah Puzzle berulang memperoleh skor purata 0.57 lebih tinggi daripada satu langkah. Kosnya: Arena-Hard-V2 turun 4.2 mata dan SWE-Bench turun 2.6 mata. Hugging Face menyediakan pusat pemeriksaan BF16, FP8 dan NVFP4.

Maklumat penting

  • NVIDIA melancarkan varian termampat Nemotron-3-Super iaitu Nemotron-Labs-3-Puzzle-75B-A9B,dengan…
  • 7B kepada 75.
  • 3B dan parameter aktif menurun daripada 12.
  • 8B kepada 9.
  • 3B,sambil mengekalkan susun atur hibrid 88 blok (40 Mamba,40 MoE,8 perhatian).

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
MarkTechPost(RSS)
Kategori
Pelancaran Model
Skor AI
70
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

把120B MoE压到75B后,同节点服务吞吐几乎翻倍,单张H100百万token并发从1涨到8。对长上下文RAG和AI编码助手这类对吞吐敏感的产品来说,这不是论文调优,是实打实的降本方案。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: NVIDIA lancar Nemotron-Labs-3-Puzzle-75B-A9B: model MoE hibrid termampat, daya pemprosesan pelayan meningkat 2.03 kali. 9 Julai 2026. https://new.nat6.net/ms/news/cmrd9x7xz01wzih4bch5uoywh/

Lihat Semua →