Papers & Forschung

SGLang-Team arbeitet mit AMD zusammen, um disaggrierte DeepSeek-R1-Inferenz auf AMD Instinct™ MI355X GPUs bei den Gesamtbetriebskosten wettbewerbsfähig zu machen

Originaltitel:Blog Win on TCO: How AMD Instinct™ MI355X Achieves Cost-Competitive Distributed Inference Through SGLang with MoRI The SGLang and AMD team has worked closely to unlock competitive Total Cost of Ownership (TCO) for large-scale DeepSeek-R1 disaggregated inference on AMD Instinct™ MI355X GPUs. Building on SGLang's se... AMD & SGLang Team

KI-Zusammenfassung

Das SGLang- und das AMD-Team haben durch eine Reihe von Full-Stack-Optimierungen erreicht, dass AMD Instinct™ MI355X GPUs bei der Inferenz des großen DeepSeek-R1-Modells wettbewerbsfähige Gesamtbetriebskosten erzielen. Bei einer Interaktionslatenz von 129 tok/s/user liegen die Kosten bei 0,169 US-Dollar pro Million Tokens – 5 % niedriger als bei der NVIDIA-B200-Lösung (Dynamo TRT-LLM) und 40 % niedriger als bei der B200-Lösung (SGLang). Beim Durchsatz erreichen 24 AMD-GPUs 2.436 tok/s/GPU und damit 1,25-mal mehr Durchsatz pro GPU als die B200-SGLang-Lösung mit 48 GPUs. Zu den zentralen Optimierungen gehören: MoRI-All-to-All-Kommunikation mit gemischter FP4/FP8-Quantisierung, das MoRI-IO-KV-Cache-Backend, Two-Batch-Overlap und SDMA, Specv2 MTP auf ROCm sowie Optimierungen für CPU-Streaming.

Kernpunkte

  • Das SGLang- und das AMD-Team haben durch eine Reihe von Full-Stack-Optimierungen erreicht,dass AMD…
  • Bei einer Interaktionslatenz von 129 tok/s/user liegen die Kosten bei 0,169 US-Dollar pro Million…
  • Beim Durchsatz erreichen 24 AMD-GPUs 2.
  • 436 tok/s/GPU und damit 1,25-mal mehr Durchsatz pro GPU als die B200-SGLang-Lösung mit 48 GPUs.
  • Zu den zentralen Optimierungen gehören: MoRI-All-to-All-Kommunikation mit gemischter…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
LMSYS Blog
Kategorie
Papers & Forschung
KI-Bewertung
69
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

AMD MI355X跑DeepSeek-R1的TCO比NVIDIA B200低5%,吞吐还高出1.25倍,这是开源框架SGLang对闭源生态的一次真实挑战,做推理部署的应该点开看看完整的全栈优化。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: SGLang-Team arbeitet mit AMD zusammen, um disaggrierte DeepSeek-R1-Inferenz auf AMD Instinct™ MI355X GPUs bei den Gesamtbetriebskosten wettbewerbsfähig zu machen. 28. Mai 2026. https://new.nat6.net/de/news/cmppprn04028nslvyqxgosjyn/

Alle ansehen →