Mga Papel at Pananaliksik

Lampas sa limitasyon ng serbisyo ng DeepSeek-V4-Pro: multi-scenario optimization sa H20

Orihinal na pamagat:Blog Pushing the Limits of Serving DeepSeek-V4-Pro DeepSeek-V4-Pro is a 1.6-trillion-parameter Mixture-of-Experts (MoE) model released with both FP8 and FP4 weights. Models at this scale naturally benefit from accelerators such as NVIDIA Blackwell GPU... Tianyu Zhang, Yusong Gao, Yun Zhang

AI summary

Para sa 1.6 trilyong parameter na MoE model na DeepSeek-V4-Pro, inaabot ng LMSYS team sa H20 GPU ang performance na malapit sa B300 sa pamamagitan ng scenario-based service configuration. Ang single-node H20-141GB reference implementation ay umabot sa 271 output tokens/s, pinaliit ang agwat sa 383.7 tokens/s ng B300 sa 1.42×.

Mahahalagang impormasyon

  • Para sa 1.
  • 6 trilyong parameter na MoE model na DeepSeek-V4-Pro,inaabot ng LMSYS team sa H20 GPU ang…
  • Ang single-node H20-141GB reference implementation ay umabot sa 271 output tokens/s,pinaliit ang…
  • 7 tokens/s ng B300 sa 1.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
LMSYS Blog
Kategorya
Mga Papel at Pananaliksik
AI na marka
73
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

文章提出按上下文长度与并发需求分场景选择 prefill/decode 配置,并用 Humming 压缩和 Online C128 释放 HBM,使 H20 也能服务 1M 上下文,为受限硬件上的大规模推理提供了可复用的工程思路。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Lampas sa limitasyon ng serbisyo ng DeepSeek-V4-Pro: multi-scenario optimization sa H20. 19 Agosto 2026. https://new.nat6.net/fil/news/cmt0e7sxo01eiro2o4l4y9jmh/

Tingnan lahat →