Artículos e investigación

El equipo de SGLang colabora con AMD para que la inferencia desagregada de DeepSeek-R1 a gran escala en las GPU AMD Instinct™ MI355X sea competitiva en coste total de propiedad

Título original:Blog Win on TCO: How AMD Instinct™ MI355X Achieves Cost-Competitive Distributed Inference Through SGLang with MoRI The SGLang and AMD team has worked closely to unlock competitive Total Cost of Ownership (TCO) for large-scale DeepSeek-R1 disaggregated inference on AMD Instinct™ MI355X GPUs. Building on SGLang's se... AMD & SGLang Team

Resumen de IA

El equipo de SGLang colaboró con AMD para lograr, mediante una serie de optimizaciones de pila completa, un coste total de propiedad muy competitivo al ejecutar la inferencia del gran modelo DeepSeek-R1 en las GPU AMD Instinct™ MI355X. Con una latencia de interacción de 129 tok/s/usuario, el coste es de 0,169 dólares por millón de tokens, un 5% menos que la solución NVIDIA B200 (Dynamo TRT-LLM) y un 40% menos que la solución B200 (SGLang). En cuanto al rendimiento, 24 GPU AMD alcanzan 2.436 tok/s/GPU, un 1,25 veces más de rendimiento por GPU que la solución B200 SGLang con 48 GPU. Las optimizaciones clave incluyen: comunicación all-to-all con cuantización mixta FP4/FP8 de MoRI, backend de KV Cache MoRI-IO, solapamiento de dos lotes y SDMA, Specv2 MTP en ROCm y optimización del procesamiento en streaming de CPU.

Puntos clave

  • El equipo de SGLang colaboró con AMD para lograr,mediante una serie de optimizaciones de pila…
  • Con una latencia de interacción de 129 tok/s/usuario,el coste es de 0,169 dólares por millón de…
  • En cuanto al rendimiento,24 GPU AMD alcanzan 2.
  • 436 tok/s/GPU,un 1,25 veces más de rendimiento por GPU que la solución B200 SGLang con 48 GPU.
  • Las optimizaciones clave incluyen: comunicación all-to-all con cuantización mixta FP4/FP8 de…

Resumen rápido

Publicado
Actualizado
Fuente
LMSYS Blog
Categoría
Artículos e investigación
Puntuación IA
69
Leer el original Leer el artículo completo en la fuente original
Por qué importa

AMD MI355X跑DeepSeek-R1的TCO比NVIDIA B200低5%,吞吐还高出1.25倍,这是开源框架SGLang对闭源生态的一次真实挑战,做推理部署的应该点开看看完整的全栈优化。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: El equipo de SGLang colabora con AMD para que la inferencia desagregada de DeepSeek-R1 a gran escala en las GPU AMD Instinct™ MI355X sea competitiva en coste total de propiedad. 28. mayo 2026. https://new.nat6.net/es/news/cmppprn04028nslvyqxgosjyn/

Ver todo →