论文与研究

SGLang 团队与 AMD 合作,使 AMD Instinct™ MI355X GPU 的大规模 DeepSeek-R1 分离式推理在总拥有成本上具备竞争力

原文标题:Blog Win on TCO: How AMD Instinct™ MI355X Achieves Cost-Competitive Distributed Inference Through SGLang with MoRI The SGLang and AMD team has worked closely to unlock competitive Total Cost of Ownership (TCO) for large-scale DeepSeek-R1 disaggregated inference on AMD Instinct™ MI355X GPUs. Building on SGLang's se... AMD & SGLang Team

AI 摘要

SGLang 与 AMD 团队合作,通过一系列全栈优化,使 AMD Instinct™ MI355X GPU 在运行 DeepSeek-R1 大模型推理时实现了极具竞争力的总拥有成本。在 129 tok/s/user 的交互延迟下,其成本为每百万 token $0.169,比 NVIDIA B200(Dynamo TRT-LLM)方案低 5%,比 B200(SGLang)方案低 40%。吞吐量方面,24 块 AMD GPU 达到 2,436 tok/s/GPU,比使用 48 块 GPU 的 B200 SGLang 方案每 GPU 吞吐量高 1.25 倍。核心优化包括:MoRI 混合 FP4/FP8 量化全到全通信、MoRI-IO KV Cache 后端、两批重叠与 SDMA、ROCm 上的 Specv2 MTP 以及 CPU 流式处理优化。

关键信息

  • SGLang 与 AMD 团队合作,通过一系列全栈优化,使 AMD Instinct™ MI355X GPU 在运行 DeepSeek-R1 大模型推理时实现了极具竞争力的总拥有成本。
  • 在 129 tok/s/user 的交互延迟下,其成本为每百万 token $0.
  • 169,比 NVIDIA B200(Dynamo TRT-LLM)方案低 5%,比 B200(SGLang)方案低 40%。
  • 吞吐量方面,24 块 AMD GPU 达到 2,436 tok/s/GPU,比使用 48 块 GPU 的 B200 SGLang 方案每 GPU 吞吐量高 1.
  • 核心优化包括:MoRI 混合 FP4/FP8 量化全到全通信、MoRI-IO KV Cache 后端、两批重叠与 SDMA、ROCm 上的 Specv2 MTP 以及 CPU 流式处理优化

速览

发布时间
更新时间
来源
LMSYS Blog
分类
论文与研究
AI 评分
69
阅读原文 前往信息源阅读完整正文
推荐理由

AMD MI355X跑DeepSeek-R1的TCO比NVIDIA B200低5%,吞吐还高出1.25倍,这是开源框架SGLang对闭源生态的一次真实挑战,做推理部署的应该点开看看完整的全栈优化。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:SGLang 团队与 AMD 合作,使 AMD Instinct™ MI355X GPU 的大规模 DeepSeek-R1 分离式推理在总拥有成本上具备竞争力。2026年5月28日。https://new.nat6.net/news/cmppprn04028nslvyqxgosjyn/

查看全部 →
  • 创新时代:Google Research 在 I/O 2026

    Google Research 在 I/O 2026 大会上展示了其在多个前沿领域的技术进展,包括应用AI、基础机器学习算法以及量子AI等。本次大会的核心主题是展示其在将科学发现与研究成果转化为现实世界影响方面的持续努力。

    Google Research:Blog(网页)论文与研究AI 评分 79

  • Fast, faster, Qwen. 🚀

    Qwen3.5在TokenSpeed推理引擎上,针对智能体工作负载达到了创纪录的580 tokens per second (tps)速度。这一成果由通义千问推理团队、lightseekorg Foundation TokenSpeed团…

    X:通义千问 / Qwen (@Alibaba_Qwen)论文与研究AI 评分 69

  • 通过零信任聚合实现的隐私分析

    Google Research 推出了一种新的隐私分析解决方案。该方案结合了一种新的密码学安全聚合协议与可信执行环境(TEE)的透明性,旨在实现前沿的隐私与安全保证。其核心是基于零信任原则,通过密码学与硬件保护的结合,确保系统仅能获取群体…

    Google Research:Blog(网页)论文与研究AI 评分 70

  • hexoai开源SIA框架:AI智能体实现递归自我改进

    hexoai开源了SIA(自我改进AI)框架。该框架展示了AI智能体不仅能优化其外部工作流(harness),还能通过任务反馈直接更新自身的模型权重,从而在领域知识和能力上实现自主提升,而非仅依赖人类提供的提示或工具改进。论文报告显示,S…

    X:Rohan Paul (@rohanpaul_ai)论文与研究AI 评分 81