Inilabas ng NVIDIA ang Nemotron-Labs-3-Puzzle-75B-A9B: compressed hybrid MoE model, 2.03x na pagtaas sa server throughput
Orihinal na pamagat:NVIDIA Releases Nemotron-Labs-3-Puzzle-75B-A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput at Matched User Throughput
AI summary
Inilabas ng NVIDIA ang compressed variant ng Nemotron-3-Super na Nemotron-Labs-3-Puzzle-75B-A9B, na bumaba ang kabuuang parameters mula 120.7B patungong 75.3B at ang active parameters mula 12.8B patungong 9.3B, habang pinapanatili ang 88-block hybrid layout (40 Mamba, 40 MoE, 8 attention). Sa 8×B200 node, sa 8K/64K scenario kung saan ang matched user throughput ay ≥100 tok/s, tumaas ang server throughput ng 2.03x. Sa single H100, tumaas ang 1M-token concurrency mula 1 patungong 8, at bumaba ang weight footprint mula 70 GB patungong 44.5 GB. Ang iterative Puzzle method ay may average score na 0.57 na mas mataas kaysa sa single-step. Trade-off: bumaba ng 4.2 puntos ang Arena-Hard-V2 at 2.6 puntos ang SWE-Bench. Nagbibigay ang Hugging Face ng BF16, FP8, at NVFP4 checkpoints.
Mahahalagang impormasyon
- Inilabas ng NVIDIA ang compressed variant ng Nemotron-3-Super na Nemotron-Labs-3-Puzzle-75B-A9B,na…
- 7B patungong 75.
- 3B at ang active parameters mula 12.
- 8B patungong 9.
- 3B,habang pinapanatili ang 88-block hybrid layout (40 Mamba,40 MoE,8 attention).
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- MarkTechPost(RSS)
- Kategorya
- Paglabas ng modelo
- AI na marka
- 70
把120B MoE压到75B后,同节点服务吞吐几乎翻倍,单张H100百万token并发从1涨到8。对长上下文RAG和AI编码助手这类对吞吐敏感的产品来说,这不是论文调优,是实打实的降本方案。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Inilabas ng NVIDIA ang Nemotron-Labs-3-Puzzle-75B-A9B: compressed hybrid MoE model, 2.03x na pagtaas sa server throughput. 9 Hulyo 2026. https://new.nat6.net/fil/news/cmrd9x7xz01wzih4bch5uoywh/