Mga Papel at Pananaliksik

Nakipagtulungan ang SGLang team sa AMD para gawing kompetitibo sa total cost of ownership ang large-scale disaggregated inference ng DeepSeek-R1 sa AMD Instinct™ MI355X GPU

Orihinal na pamagat:Blog Win on TCO: How AMD Instinct™ MI355X Achieves Cost-Competitive Distributed Inference Through SGLang with MoRI The SGLang and AMD team has worked closely to unlock competitive Total Cost of Ownership (TCO) for large-scale DeepSeek-R1 disaggregated inference on AMD Instinct™ MI355X GPUs. Building on SGLang's se... AMD & SGLang Team

AI summary

Nakipagtulungan ang SGLang at AMD team sa serye ng full-stack optimization para makamit ng AMD Instinct™ MI355X GPU ang lubos na kompetitibong total cost of ownership sa pagpapatakbo ng DeepSeek-R1 large model inference. Sa 129 tok/s/user na interaction latency, ang gastos ay $0.169 kada milyong token, 5% na mas mababa kaysa sa NVIDIA B200 (Dynamo TRT-LLM) na solusyon at 40% na mas mababa kaysa sa B200 (SGLang) na solusyon. Sa throughput, umabot ang 24 na AMD GPU sa 2,436 tok/s/GPU, 1.25 beses na mas mataas ang throughput kada GPU kaysa sa B200 SGLang na solusyon na gumagamit ng 48 GPU. Kabilang sa pangunahing optimization ang: MoRI mixed FP4/FP8 quantized all-to-all communication, MoRI-IO KV Cache backend, two-batch overlap at SDMA, Specv2 MTP sa ROCm, at CPU streaming optimization.

Mahahalagang impormasyon

  • Nakipagtulungan ang SGLang at AMD team sa serye ng full-stack optimization para makamit ng AMD…
  • Sa 129 tok/s/user na interaction latency,ang gastos ay $0.
  • 169 kada milyong token,5% na mas mababa kaysa sa NVIDIA B200 (Dynamo TRT-LLM) na solusyon at 40%…
  • Sa throughput,umabot ang 24 na AMD GPU sa 2,436 tok/s/GPU,1.
  • 25 beses na mas mataas ang throughput kada GPU kaysa sa B200 SGLang na solusyon na gumagamit ng 48…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
LMSYS Blog
Kategorya
Mga Papel at Pananaliksik
AI na marka
69
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

AMD MI355X跑DeepSeek-R1的TCO比NVIDIA B200低5%,吞吐还高出1.25倍,这是开源框架SGLang对闭源生态的一次真实挑战,做推理部署的应该点开看看完整的全栈优化。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Nakipagtulungan ang SGLang team sa AMD para gawing kompetitibo sa total cost of ownership ang large-scale disaggregated inference ng DeepSeek-R1 sa AMD Instinct™ MI355X GPU. 28 Mayo 2026. https://new.nat6.net/fil/news/cmppprn04028nslvyqxgosjyn/

Tingnan lahat →