Paglabas ng modelo

Inilabas ng NVIDIA ang Nemotron-Labs-3-Puzzle-75B-A9B: compressed hybrid MoE model, 2.03x na pagtaas sa server throughput

Orihinal na pamagat:NVIDIA Releases Nemotron-Labs-3-Puzzle-75B-A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput at Matched User Throughput

AI summary

Inilabas ng NVIDIA ang compressed variant ng Nemotron-3-Super na Nemotron-Labs-3-Puzzle-75B-A9B, na bumaba ang kabuuang parameters mula 120.7B patungong 75.3B at ang active parameters mula 12.8B patungong 9.3B, habang pinapanatili ang 88-block hybrid layout (40 Mamba, 40 MoE, 8 attention). Sa 8×B200 node, sa 8K/64K scenario kung saan ang matched user throughput ay ≥100 tok/s, tumaas ang server throughput ng 2.03x. Sa single H100, tumaas ang 1M-token concurrency mula 1 patungong 8, at bumaba ang weight footprint mula 70 GB patungong 44.5 GB. Ang iterative Puzzle method ay may average score na 0.57 na mas mataas kaysa sa single-step. Trade-off: bumaba ng 4.2 puntos ang Arena-Hard-V2 at 2.6 puntos ang SWE-Bench. Nagbibigay ang Hugging Face ng BF16, FP8, at NVFP4 checkpoints.

Mahahalagang impormasyon

  • Inilabas ng NVIDIA ang compressed variant ng Nemotron-3-Super na Nemotron-Labs-3-Puzzle-75B-A9B,na…
  • 7B patungong 75.
  • 3B at ang active parameters mula 12.
  • 8B patungong 9.
  • 3B,habang pinapanatili ang 88-block hybrid layout (40 Mamba,40 MoE,8 attention).

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
MarkTechPost(RSS)
Kategorya
Paglabas ng modelo
AI na marka
70
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

把120B MoE压到75B后,同节点服务吞吐几乎翻倍,单张H100百万token并发从1涨到8。对长上下文RAG和AI编码助手这类对吞吐敏感的产品来说,这不是论文调优,是实打实的降本方案。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Inilabas ng NVIDIA ang Nemotron-Labs-3-Puzzle-75B-A9B: compressed hybrid MoE model, 2.03x na pagtaas sa server throughput. 9 Hulyo 2026. https://new.nat6.net/fil/news/cmrd9x7xz01wzih4bch5uoywh/

Tingnan lahat →