DeepSeek-V4-Proのサービス限界を突破:H20上のマルチシーン最適化手法
原題:Blog Pushing the Limits of Serving DeepSeek-V4-Pro DeepSeek-V4-Pro is a 1.6-trillion-parameter Mixture-of-Experts (MoE) model released with both FP8 and FP4 weights. Models at this scale naturally benefit from accelerators such as NVIDIA Blackwell GPU... Tianyu Zhang, Yusong Gao, Yun Zhang
AI 要約
LMSYSチームは1.6兆パラメータのMoEモデルDeepSeek-V4-Proについて、H20 GPU上でシナリオ別のサービス構成によりB300の性能に迫った。単一ノードのH20-141GBリファレンス実装では271 output tokens/sを達成し、B300の383.7 tokens/sとの性能差を1.42倍まで縮小した。
要点
- LMSYSチームは1.
- 6兆パラメータのMoEモデルDeepSeek-V4-Proについて、H20 GPU上でシナリオ別のサービス構成によりB300の性能に迫った。
- 単一ノードのH20-141GBリファレンス実装では271 output tokens/sを達成し、B300の383.
- 7 tokens/sとの性能差を1.
- 42倍まで縮小した
概要
- 公開日時
- 更新日時
- 出典
- LMSYS Blog
- カテゴリ
- 論文・研究
- AI スコア
- 73
文章提出按上下文长度与并发需求分场景选择 prefill/decode 配置,并用 Humming 压缩和 Online C128 释放 HBM,使 H20 也能服务 1M 上下文,为受限硬件上的大规模推理提供了可复用的工程思路。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:DeepSeek-V4-Proのサービス限界を突破:H20上のマルチシーン最適化手法。2026年8月19日。https://new.nat6.net/ja/news/cmt0e7sxo01eiro2o4l4y9jmh/