Статьи и исследования

Предел производительности DeepSeek-V4-Pro: методы многосценарной оптимизации на H20

Оригинальный заголовок:Blog Pushing the Limits of Serving DeepSeek-V4-Pro DeepSeek-V4-Pro is a 1.6-trillion-parameter Mixture-of-Experts (MoE) model released with both FP8 and FP4 weights. Models at this scale naturally benefit from accelerators such as NVIDIA Blackwell GPU... Tianyu Zhang, Yusong Gao, Yun Zhang

ИИ-резюме

Команда LMSYS для MoE-модели DeepSeek-V4-Pro с 1.6 трлн параметров на GPU H20 приблизилась к производительности B300 за счёт сценарных конфигураций обслуживания. Референсная реализация на одном узле H20-141GB достигает 271 output tokens/s, сокращая разрыв с B300 (383.7 tokens/s) до 1.42×.

Ключевые моменты

  • Команда LMSYS для MoE-модели DeepSeek-V4-Pro с 1.
  • 6 трлн параметров на GPU H20 приблизилась к производительности B300 за счёт сценарных конфигураций…
  • Референсная реализация на одном узле H20-141GB достигает 271 output tokens/s,сокращая разрыв с…
  • 7 tokens/s) до 1.

Кратко

Опубликовано
Обновлено
Источник
LMSYS Blog
Категория
Статьи и исследования
Оценка ИИ
73
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

文章提出按上下文长度与并发需求分场景选择 prefill/decode 配置,并用 Humming 压缩和 Online C128 释放 HBM,使 H20 也能服务 1M 上下文,为受限硬件上的大规模推理提供了可复用的工程思路。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Предел производительности DeepSeek-V4-Pro: методы многосценарной оптимизации на H20. 19 августа 2026. https://new.nat6.net/ru/news/cmt0e7sxo01eiro2o4l4y9jmh/

Смотреть все →