SGLang-Team arbeitet mit AMD zusammen, um disaggrierte DeepSeek-R1-Inferenz auf AMD Instinct™ MI355X GPUs bei den Gesamtbetriebskosten wettbewerbsfähig zu machen
Originaltitel:Blog Win on TCO: How AMD Instinct™ MI355X Achieves Cost-Competitive Distributed Inference Through SGLang with MoRI The SGLang and AMD team has worked closely to unlock competitive Total Cost of Ownership (TCO) for large-scale DeepSeek-R1 disaggregated inference on AMD Instinct™ MI355X GPUs. Building on SGLang's se... AMD & SGLang Team
KI-Zusammenfassung
Das SGLang- und das AMD-Team haben durch eine Reihe von Full-Stack-Optimierungen erreicht, dass AMD Instinct™ MI355X GPUs bei der Inferenz des großen DeepSeek-R1-Modells wettbewerbsfähige Gesamtbetriebskosten erzielen. Bei einer Interaktionslatenz von 129 tok/s/user liegen die Kosten bei 0,169 US-Dollar pro Million Tokens – 5 % niedriger als bei der NVIDIA-B200-Lösung (Dynamo TRT-LLM) und 40 % niedriger als bei der B200-Lösung (SGLang). Beim Durchsatz erreichen 24 AMD-GPUs 2.436 tok/s/GPU und damit 1,25-mal mehr Durchsatz pro GPU als die B200-SGLang-Lösung mit 48 GPUs. Zu den zentralen Optimierungen gehören: MoRI-All-to-All-Kommunikation mit gemischter FP4/FP8-Quantisierung, das MoRI-IO-KV-Cache-Backend, Two-Batch-Overlap und SDMA, Specv2 MTP auf ROCm sowie Optimierungen für CPU-Streaming.
Kernpunkte
- Das SGLang- und das AMD-Team haben durch eine Reihe von Full-Stack-Optimierungen erreicht,dass AMD…
- Bei einer Interaktionslatenz von 129 tok/s/user liegen die Kosten bei 0,169 US-Dollar pro Million…
- Beim Durchsatz erreichen 24 AMD-GPUs 2.
- 436 tok/s/GPU und damit 1,25-mal mehr Durchsatz pro GPU als die B200-SGLang-Lösung mit 48 GPUs.
- Zu den zentralen Optimierungen gehören: MoRI-All-to-All-Kommunikation mit gemischter…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- LMSYS Blog
- Kategorie
- Papers & Forschung
- KI-Bewertung
- 69
AMD MI355X跑DeepSeek-R1的TCO比NVIDIA B200低5%,吞吐还高出1.25倍,这是开源框架SGLang对闭源生态的一次真实挑战,做推理部署的应该点开看看完整的全栈优化。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: SGLang-Team arbeitet mit AMD zusammen, um disaggrierte DeepSeek-R1-Inferenz auf AMD Instinct™ MI355X GPUs bei den Gesamtbetriebskosten wettbewerbsfähig zu machen. 28. Mai 2026. https://new.nat6.net/de/news/cmppprn04028nslvyqxgosjyn/