Статьи и исследования

Команда SGLang совместно с AMD сделала раздельный инференс DeepSeek-R1 на AMD Instinct™ MI355X GPU конкурентоспособным по совокупной стоимости владения

Оригинальный заголовок:Blog Win on TCO: How AMD Instinct™ MI355X Achieves Cost-Competitive Distributed Inference Through SGLang with MoRI The SGLang and AMD team has worked closely to unlock competitive Total Cost of Ownership (TCO) for large-scale DeepSeek-R1 disaggregated inference on AMD Instinct™ MI355X GPUs. Building on SGLang's se... AMD & SGLang Team

ИИ-резюме

Команда SGLang совместно с AMD благодаря ряду full-stack оптимизаций добилась конкурентоспособной совокупной стоимости владения при инференсе большой модели DeepSeek-R1 на AMD Instinct™ MI355X GPU. При интерактивной задержке 129 tok/s/user стоимость составляет $0,169 за миллион token — на 5% ниже решения NVIDIA B200 (Dynamo TRT-LLM) и на 40% ниже решения B200 (SGLang). По пропускной способности 24 GPU AMD достигают 2 436 tok/s/GPU, что в 1,25 раза выше пропускной способности на GPU в решении B200 SGLang с 48 GPU. Ключевые оптимизации включают: MoRI all-to-all коммуникацию со смешанным квантованием FP4/FP8, бэкенд KV Cache MoRI-IO, перекрытие двух батчей и SDMA, Specv2 MTP на ROCm и оптимизацию потоковой обработки на CPU.

Ключевые моменты

  • Команда SGLang совместно с AMD благодаря ряду full-stack оптимизаций добилась конкурентоспособной…
  • При интерактивной задержке 129 tok/s/user стоимость составляет $0,169 за миллион token — на 5%…
  • По пропускной способности 24 GPU AMD достигают 2 436 tok/s/GPU,что в 1,25 раза выше пропускной…
  • Ключевые оптимизации включают: MoRI all-to-all коммуникацию со смешанным квантованием…

Кратко

Опубликовано
Обновлено
Источник
LMSYS Blog
Категория
Статьи и исследования
Оценка ИИ
69
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

AMD MI355X跑DeepSeek-R1的TCO比NVIDIA B200低5%,吞吐还高出1.25倍,这是开源框架SGLang对闭源生态的一次真实挑战,做推理部署的应该点开看看完整的全栈优化。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Команда SGLang совместно с AMD сделала раздельный инференс DeepSeek-R1 на AMD Instinct™ MI355X GPU конкурентоспособным по совокупной стоимости владения. 28 мая 2026. https://new.nat6.net/ru/news/cmppprn04028nslvyqxgosjyn/

Смотреть все →