Lampas sa limitasyon ng serbisyo ng DeepSeek-V4-Pro: multi-scenario optimization sa H20
Orihinal na pamagat:Blog Pushing the Limits of Serving DeepSeek-V4-Pro DeepSeek-V4-Pro is a 1.6-trillion-parameter Mixture-of-Experts (MoE) model released with both FP8 and FP4 weights. Models at this scale naturally benefit from accelerators such as NVIDIA Blackwell GPU... Tianyu Zhang, Yusong Gao, Yun Zhang
AI summary
Para sa 1.6 trilyong parameter na MoE model na DeepSeek-V4-Pro, inaabot ng LMSYS team sa H20 GPU ang performance na malapit sa B300 sa pamamagitan ng scenario-based service configuration. Ang single-node H20-141GB reference implementation ay umabot sa 271 output tokens/s, pinaliit ang agwat sa 383.7 tokens/s ng B300 sa 1.42×.
Mahahalagang impormasyon
- Para sa 1.
- 6 trilyong parameter na MoE model na DeepSeek-V4-Pro,inaabot ng LMSYS team sa H20 GPU ang…
- Ang single-node H20-141GB reference implementation ay umabot sa 271 output tokens/s,pinaliit ang…
- 7 tokens/s ng B300 sa 1.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- LMSYS Blog
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 73
文章提出按上下文长度与并发需求分场景选择 prefill/decode 配置,并用 Humming 压缩和 Online C128 释放 HBM,使 H20 也能服务 1M 上下文,为受限硬件上的大规模推理提供了可复用的工程思路。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Lampas sa limitasyon ng serbisyo ng DeepSeek-V4-Pro: multi-scenario optimization sa H20. 19 Agosto 2026. https://new.nat6.net/fil/news/cmt0e7sxo01eiro2o4l4y9jmh/