Repousser les limites du service DeepSeek-V4-Pro : méthodes d'optimisation multi-scénarios sur H20
Titre original:Blog Pushing the Limits of Serving DeepSeek-V4-Pro DeepSeek-V4-Pro is a 1.6-trillion-parameter Mixture-of-Experts (MoE) model released with both FP8 and FP4 weights. Models at this scale naturally benefit from accelerators such as NVIDIA Blackwell GPU... Tianyu Zhang, Yusong Gao, Yun Zhang
Résumé IA
L'équipe LMSYS a optimisé le modèle MoE DeepSeek-V4-Pro de 1,6 billion de paramètres sur GPU H20 via des configurations de service par scénario, approchant les performances du B300. Une implémentation de référence sur un nœud unique H20-141GB atteint 271 output tokens/s, réduisant l'écart avec les 383,7 tokens/s du B300 à 1,42×.
Points clés
- L'équipe LMSYS a optimisé le modèle MoE DeepSeek-V4-Pro de 1,6 billion de paramètres sur GPU H20…
- approchant les performances du B300.
- Une implémentation de référence sur un nœud unique H20-141GB atteint 271 output tokens/s,réduisant…
En bref
- Publié
- Mis à jour
- Source
- LMSYS Blog
- Catégorie
- Articles et recherche
- Score IA
- 73
文章提出按上下文长度与并发需求分场景选择 prefill/decode 配置,并用 Humming 压缩和 Online C128 释放 HBM,使 H20 也能服务 1M 上下文,为受限硬件上的大规模推理提供了可复用的工程思路。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Repousser les limites du service DeepSeek-V4-Pro : méthodes d'optimisation multi-scénarios sur H20. 19. août 2026. https://new.nat6.net/fr/news/cmt0e7sxo01eiro2o4l4y9jmh/