论文与研究

突破 DeepSeek-V4-Pro 服务极限:H20 上的多场景优化方法

原文标题:Blog Pushing the Limits of Serving DeepSeek-V4-Pro DeepSeek-V4-Pro is a 1.6-trillion-parameter Mixture-of-Experts (MoE) model released with both FP8 and FP4 weights. Models at this scale naturally benefit from accelerators such as NVIDIA Blackwell GPU... Tianyu Zhang, Yusong Gao, Yun Zhang

AI 摘要

LMSYS 团队针对 1.6 万亿参数的 MoE 模型 DeepSeek-V4-Pro,在 H20 GPU 上通过场景化服务配置逼近 B300 性能。单节点 H20-141GB 参考实现达 271 output tokens/s,与 B300 的 383.7 tokens/s 性能差距缩小至 1.42×。

关键信息

  • LMSYS 团队针对 1.
  • 6 万亿参数的 MoE 模型 DeepSeek-V4-Pro,在 H20 GPU 上通过场景化服务配置逼近 B300 性能。
  • 单节点 H20-141GB 参考实现达 271 output tokens/s,与 B300 的 383.
  • 7 tokens/s 性能差距缩小至 1.
  • 文章提出按上下文长度与并发需求分场景选择 prefill/decode 配置,并用 Humming 压缩和 Online C128 释放 HBM,使 H20 也能服务 1M 上下文,为受限硬件上的大…

速览

发布时间
更新时间
来源
LMSYS Blog
分类
论文与研究
AI 评分
73
阅读原文 前往信息源阅读完整正文
推荐理由

文章提出按上下文长度与并发需求分场景选择 prefill/decode 配置,并用 Humming 压缩和 Online C128 释放 HBM,使 H20 也能服务 1M 上下文,为受限硬件上的大规模推理提供了可复用的工程思路。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:突破 DeepSeek-V4-Pro 服务极限:H20 上的多场景优化方法。2026年8月19日。https://new.nat6.net/news/cmt0e7sxo01eiro2o4l4y9jmh/

查看全部 →