Nakipagtulungan ang SGLang team sa AMD para gawing kompetitibo sa total cost of ownership ang large-scale disaggregated inference ng DeepSeek-R1 sa AMD Instinct™ MI355X GPU
Orihinal na pamagat:Blog Win on TCO: How AMD Instinct™ MI355X Achieves Cost-Competitive Distributed Inference Through SGLang with MoRI The SGLang and AMD team has worked closely to unlock competitive Total Cost of Ownership (TCO) for large-scale DeepSeek-R1 disaggregated inference on AMD Instinct™ MI355X GPUs. Building on SGLang's se... AMD & SGLang Team
AI summary
Nakipagtulungan ang SGLang at AMD team sa serye ng full-stack optimization para makamit ng AMD Instinct™ MI355X GPU ang lubos na kompetitibong total cost of ownership sa pagpapatakbo ng DeepSeek-R1 large model inference. Sa 129 tok/s/user na interaction latency, ang gastos ay $0.169 kada milyong token, 5% na mas mababa kaysa sa NVIDIA B200 (Dynamo TRT-LLM) na solusyon at 40% na mas mababa kaysa sa B200 (SGLang) na solusyon. Sa throughput, umabot ang 24 na AMD GPU sa 2,436 tok/s/GPU, 1.25 beses na mas mataas ang throughput kada GPU kaysa sa B200 SGLang na solusyon na gumagamit ng 48 GPU. Kabilang sa pangunahing optimization ang: MoRI mixed FP4/FP8 quantized all-to-all communication, MoRI-IO KV Cache backend, two-batch overlap at SDMA, Specv2 MTP sa ROCm, at CPU streaming optimization.
Mahahalagang impormasyon
- Nakipagtulungan ang SGLang at AMD team sa serye ng full-stack optimization para makamit ng AMD…
- Sa 129 tok/s/user na interaction latency,ang gastos ay $0.
- 169 kada milyong token,5% na mas mababa kaysa sa NVIDIA B200 (Dynamo TRT-LLM) na solusyon at 40%…
- Sa throughput,umabot ang 24 na AMD GPU sa 2,436 tok/s/GPU,1.
- 25 beses na mas mataas ang throughput kada GPU kaysa sa B200 SGLang na solusyon na gumagamit ng 48…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- LMSYS Blog
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 69
AMD MI355X跑DeepSeek-R1的TCO比NVIDIA B200低5%,吞吐还高出1.25倍,这是开源框架SGLang对闭源生态的一次真实挑战,做推理部署的应该点开看看完整的全栈优化。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Nakipagtulungan ang SGLang team sa AMD para gawing kompetitibo sa total cost of ownership ang large-scale disaggregated inference ng DeepSeek-R1 sa AMD Instinct™ MI355X GPU. 28 Mayo 2026. https://new.nat6.net/fil/news/cmppprn04028nslvyqxgosjyn/