Rilis Model

NVIDIA merilis Nemotron-Labs-3-Puzzle-75B-A9B: model MoE hibrida terkompresi, throughput server meningkat 2,03 kali

Judul asli:NVIDIA Releases Nemotron-Labs-3-Puzzle-75B-A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput at Matched User Throughput

Ringkasan AI

NVIDIA merilis varian terkompresi dari Nemotron-3-Super, Nemotron-Labs-3-Puzzle-75B-A9B, dengan total parameter turun dari 120,7B menjadi 75,3B dan parameter aktif turun dari 12,8B menjadi 9,3B, mempertahankan tata letak hibrida 88 blok (40 Mamba, 40 MoE, 8 attention). Pada node 8×B200, dalam skenario 8K/64K dengan throughput pengguna yang cocok ≥100 tok/s, throughput server meningkat 2,03 kali. Pada H100 tunggal, konkurensi 1M-token meningkat dari 1 menjadi 8, dan penggunaan bobot turun dari 70 GB menjadi 44,5 GB. Metode Puzzle iteratif memperoleh skor rata-rata 0,57 lebih tinggi daripada satu langkah. Biayanya: Arena-Hard-V2 turun 4,2 poin, SWE-Bench turun 2,6 poin. Hugging Face menyediakan checkpoint BF16, FP8, dan NVFP4.

Poin utama

  • NVIDIA merilis varian terkompresi dari Nemotron-3-Super,Nemotron-Labs-3-Puzzle-75B-A9B,dengan…
  • Pada node 8×B200,dalam skenario 8K/64K dengan throughput pengguna yang cocok ≥100 tok/s,throughput…
  • Pada H100 tunggal,konkurensi 1M-token meningkat dari 1 menjadi 8,dan penggunaan bobot turun dari…
  • Metode Puzzle iteratif memperoleh skor rata-rata 0,57 lebih tinggi daripada satu langkah.
  • Biayanya: Arena-Hard-V2 turun 4,2 poin,SWE-Bench turun 2,6 poin.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
MarkTechPost(RSS)
Kategori
Rilis Model
Skor AI
70
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

把120B MoE压到75B后,同节点服务吞吐几乎翻倍,单张H100百万token并发从1涨到8。对长上下文RAG和AI编码助手这类对吞吐敏感的产品来说,这不是论文调优,是实打实的降本方案。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: NVIDIA merilis Nemotron-Labs-3-Puzzle-75B-A9B: model MoE hibrida terkompresi, throughput server meningkat 2,03 kali. 9 Juli 2026. https://new.nat6.net/id/news/cmrd9x7xz01wzih4bch5uoywh/

Lihat semua →