L'équipe SGLang s'associe à AMD pour rendre l'inférence DeepSeek-R1 à grande échelle sur AMD Instinct™ MI355X compétitive en coût total de possession
Titre original:Blog Win on TCO: How AMD Instinct™ MI355X Achieves Cost-Competitive Distributed Inference Through SGLang with MoRI The SGLang and AMD team has worked closely to unlock competitive Total Cost of Ownership (TCO) for large-scale DeepSeek-R1 disaggregated inference on AMD Instinct™ MI355X GPUs. Building on SGLang's se... AMD & SGLang Team
Résumé IA
L'équipe SGLang et AMD ont collaboré, via une série d'optimisations full-stack, pour que les GPU AMD Instinct™ MI355X atteignent un coût total de possession très compétitif lors de l'inférence du grand modèle DeepSeek-R1. À une latence interactive de 129 tok/s/utilisateur, le coût est de 0,169 $ par million de tokens, soit 5 % de moins que la solution NVIDIA B200 (Dynamo TRT-LLM) et 40 % de moins que la solution B200 (SGLang). En débit, 24 GPU AMD atteignent 2 436 tok/s/GPU, soit un débit par GPU 1,25 fois supérieur à la solution B200 SGLang utilisant 48 GPU. Les optimisations clés incluent : la communication all-to-all quantifiée mixte FP4/FP8 MoRI, le backend KV Cache MoRI-IO, le chevauchement de deux lots et SDMA, Specv2 MTP sur ROCm, ainsi que des optimisations de streaming CPU.
Points clés
- L'équipe SGLang et AMD ont collaboré,via une série d'optimisations full-stack,pour que les GPU AMD…
- À une latence interactive de 129 tok/s/utilisateur,le coût est de 0,169 $ par million de…
- En débit,24 GPU AMD atteignent 2 436 tok/s/GPU,soit un débit par GPU 1,25 fois supérieur à la…
- Les optimisations clés incluent: la communication all-to-all quantifiée mixte FP4/FP8 MoRI,le…
En bref
- Publié
- Mis à jour
- Source
- LMSYS Blog
- Catégorie
- Articles et recherche
- Score IA
- 69
AMD MI355X跑DeepSeek-R1的TCO比NVIDIA B200低5%,吞吐还高出1.25倍,这是开源框架SGLang对闭源生态的一次真实挑战,做推理部署的应该点开看看完整的全栈优化。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : L'équipe SGLang s'associe à AMD pour rendre l'inférence DeepSeek-R1 à grande échelle sur AMD Instinct™ MI355X compétitive en coût total de possession. 28. mai 2026. https://new.nat6.net/fr/news/cmppprn04028nslvyqxgosjyn/