NVIDIA выпустила Nemotron-Labs-3-Puzzle-75B-A9B: сжатая гибридная MoE-модель с ростом пропускной способности сервера в 2.03 раза
Оригинальный заголовок:NVIDIA Releases Nemotron-Labs-3-Puzzle-75B-A9B: A Compressed Hybrid MoE LLM Delivering 2.03x Server Throughput at Matched User Throughput
ИИ-резюме
NVIDIA выпустила сжатую версию Nemotron-3-Super — Nemotron-Labs-3-Puzzle-75B-A9B: общее число параметров снижено с 120.7B до 75.3B, активных — с 12.8B до 9.3B, сохранена гибридная компоновка из 88 блоков (40 Mamba, 40 MoE, 8 attention). На узле 8×B200 при сценарии 8K/64K и пользовательской пропускной способности ≥100 tok/s пропускная способность сервера выросла в 2.03 раза. На одном H100 число одновременных 1M-token запросов выросло с 1 до 8, а занимаемый весами объём снизился с 70 GB до 44.5 GB. Итеративный метод Puzzle даёт средний балл на 0.57 выше одношагового. Цена: Arena-Hard-V2 ниже на 4.2 балла, SWE-Bench — на 2.6 балла. На Hugging Face доступны чекпоинты BF16, FP8 и NVFP4.
Ключевые моменты
- NVIDIA выпустила сжатую версию Nemotron-3-Super — Nemotron-Labs-3-Puzzle-75B-A9B: общее число…
- 7B до 75.
- 3B,активных — с 12.
- 3B,сохранена гибридная компоновка из 88 блоков (40 Mamba,40 MoE,8 attention).
- На узле 8×B200 при сценарии 8K/64K и пользовательской пропускной способности ≥100 tok/s пропускная…
Кратко
- Опубликовано
- Обновлено
- Источник
- MarkTechPost(RSS)
- Категория
- Релизы моделей
- Оценка ИИ
- 70
把120B MoE压到75B后,同节点服务吞吐几乎翻倍,单张H100百万token并发从1涨到8。对长上下文RAG和AI编码助手这类对吞吐敏感的产品来说,这不是论文调优,是实打实的降本方案。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: NVIDIA выпустила Nemotron-Labs-3-Puzzle-75B-A9B: сжатая гибридная MoE-модель с ростом пропускной способности сервера в 2.03 раза. 9 июля 2026. https://new.nat6.net/ru/news/cmrd9x7xz01wzih4bch5uoywh/