논문 및 연구

SGLang 팀, AMD와 협력해 AMD Instinct™ MI355X GPU의 대규모 DeepSeek-R1 분리형 추론 TCO 경쟁력 확보

원제목:Blog Win on TCO: How AMD Instinct™ MI355X Achieves Cost-Competitive Distributed Inference Through SGLang with MoRI The SGLang and AMD team has worked closely to unlock competitive Total Cost of Ownership (TCO) for large-scale DeepSeek-R1 disaggregated inference on AMD Instinct™ MI355X GPUs. Building on SGLang's se... AMD & SGLang Team

AI 요약

SGLang과 AMD 팀이 일련의 풀스택 최적화를 통해 AMD Instinct™ MI355X GPU에서 DeepSeek-R1 대규모 언어 모델 추론 시 매우 경쟁력 있는 총소유비용(TCO)을 달성했다. 129 tok/s/user의 상호작용 지연에서 비용은 백만 token당 $0.169로 NVIDIA B200(Dynamo TRT-LLM) 방식보다 5% 낮고 B200(SGLang) 방식보다 40% 낮다. 처리량 측면에서 AMD GPU 24개가 2,436 tok/s/GPU를 달성해 GPU 48개를 사용하는 B200 SGLang 방식보다 GPU당 처리량이 1.25배 높다. 핵심 최적화로는 MoRI 혼합 FP4/FP8 양자화 전대전 통신, MoRI-IO KV Cache 백엔드, 2배치 오버랩과 SDMA, ROCm의 Specv2 MTP, CPU 스트리밍 처리 최적화가 포함된다.

핵심 정보

  • SGLang과 AMD 팀이 일련의 풀스택 최적화를 통해 AMD Instinct™ MI355X GPU에서 DeepSeek-R1 대규모 언어 모델 추론 시 매우 경쟁력 있는…
  • 129 tok/s/user의 상호작용 지연에서 비용은 백만 token당 $0.
  • 169로 NVIDIA B200(Dynamo TRT-LLM) 방식보다 5% 낮고 B200(SGLang) 방식보다 40% 낮다.
  • 처리량 측면에서 AMD GPU 24개가 2,436 tok/s/GPU를 달성해 GPU 48개를 사용하는 B200 SGLang 방식보다 GPU당 처리량이 1.
  • 핵심 최적화로는 MoRI 혼합 FP4/FP8 양자화 전대전 통신,MoRI-IO KV Cache 백엔드,2배치 오버랩과 SDMA,ROCm의 Specv2 MTP,CPU 스트리밍…

한눈에 보기

게시
업데이트
출처
LMSYS Blog
카테고리
논문 및 연구
AI 점수
69
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

AMD MI355X跑DeepSeek-R1的TCO比NVIDIA B200低5%,吞吐还高出1.25倍,这是开源框架SGLang对闭源生态的一次真实挑战,做推理部署的应该点开看看完整的全栈优化。

관련 엔티티

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: SGLang 팀, AMD와 협력해 AMD Instinct™ MI355X GPU의 대규모 DeepSeek-R1 분리형 추론 TCO 경쟁력 확보. 2026년 5월 28일. https://new.nat6.net/ko/news/cmppprn04028nslvyqxgosjyn/

전체 보기 →