Articles et recherche

Repousser les limites du service DeepSeek-V4-Pro : méthodes d'optimisation multi-scénarios sur H20

Titre original:Blog Pushing the Limits of Serving DeepSeek-V4-Pro DeepSeek-V4-Pro is a 1.6-trillion-parameter Mixture-of-Experts (MoE) model released with both FP8 and FP4 weights. Models at this scale naturally benefit from accelerators such as NVIDIA Blackwell GPU... Tianyu Zhang, Yusong Gao, Yun Zhang

Résumé IA

L'équipe LMSYS a optimisé le modèle MoE DeepSeek-V4-Pro de 1,6 billion de paramètres sur GPU H20 via des configurations de service par scénario, approchant les performances du B300. Une implémentation de référence sur un nœud unique H20-141GB atteint 271 output tokens/s, réduisant l'écart avec les 383,7 tokens/s du B300 à 1,42×.

Points clés

  • L'équipe LMSYS a optimisé le modèle MoE DeepSeek-V4-Pro de 1,6 billion de paramètres sur GPU H20…
  • approchant les performances du B300.
  • Une implémentation de référence sur un nœud unique H20-141GB atteint 271 output tokens/s,réduisant…

En bref

Publié
Mis à jour
Source
LMSYS Blog
Catégorie
Articles et recherche
Score IA
73
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

文章提出按上下文长度与并发需求分场景选择 prefill/decode 配置,并用 Humming 压缩和 Online C128 释放 HBM,使 H20 也能服务 1M 上下文,为受限硬件上的大规模推理提供了可复用的工程思路。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Repousser les limites du service DeepSeek-V4-Pro : méthodes d'optimisation multi-scénarios sur H20. 19. août 2026. https://new.nat6.net/fr/news/cmt0e7sxo01eiro2o4l4y9jmh/

Tout voir →