SGLangチームがAMDと協力、AMD Instinct™ MI355X GPUでの大規模DeepSeek-R1分離推論を総所有コストで競争力ある水準に
原題:Blog Win on TCO: How AMD Instinct™ MI355X Achieves Cost-Competitive Distributed Inference Through SGLang with MoRI The SGLang and AMD team has worked closely to unlock competitive Total Cost of Ownership (TCO) for large-scale DeepSeek-R1 disaggregated inference on AMD Instinct™ MI355X GPUs. Building on SGLang's se... AMD & SGLang Team
AI 要約
SGLangとAMDのチームは協力し、一連のフルスタック最適化により、AMD Instinct™ MI355X GPUでDeepSeek-R1大規模モデルの推論を実行する際に極めて競争力のある総所有コストを実現した。129 tok/s/userの対話遅延で、コストは100万tokenあたり$0.169となり、NVIDIA B200(Dynamo TRT-LLM)方案より5%低く、B200(SGLang)方案より40%低い。スループットでは、24基のAMD GPUが2,436 tok/s/GPUに達し、48基のGPUを使用するB200 SGLang方案よりGPUあたりのスループットが1.25倍高い。主要な最適化には、MoRI混合FP4/FP8量子化オールツーオール通信、MoRI-IO KV Cacheバックエンド、2バッチオーバーラップとSDMA、ROCm上のSpecv2 MTP、CPUストリーミング処理の最適化が含まれる。
要点
- SGLangとAMDのチームは協力し、一連のフルスタック最適化により、AMD Instinct™ MI355X GPUでDeepSeek-R1大規模モデルの推論を実行する際に極めて競争力のある総所有…
- 129 tok/s/userの対話遅延で、コストは100万tokenあたり$0.
- 169となり、NVIDIA B200(Dynamo TRT-LLM)方案より5%低く、B200(SGLang)方案より40%低い。
- スループットでは、24基のAMD GPUが2,436 tok/s/GPUに達し、48基のGPUを使用するB200 SGLang方案よりGPUあたりのスループットが1.
- 主要な最適化には、MoRI混合FP4/FP8量子化オールツーオール通信、MoRI-IO KV Cacheバックエンド、2バッチオーバーラップとSDMA、ROCm上のSpecv2 MTP、CPUストリ…
概要
- 公開日時
- 更新日時
- 出典
- LMSYS Blog
- カテゴリ
- 論文・研究
- AI スコア
- 69
AMD MI355X跑DeepSeek-R1的TCO比NVIDIA B200低5%,吞吐还高出1.25倍,这是开源框架SGLang对闭源生态的一次真实挑战,做推理部署的应该点开看看完整的全栈优化。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:SGLangチームがAMDと協力、AMD Instinct™ MI355X GPUでの大規模DeepSeek-R1分離推論を総所有コストで競争力ある水準に。2026年5月28日。https://new.nat6.net/ja/news/cmppprn04028nslvyqxgosjyn/