Команда SGLang совместно с AMD сделала раздельный инференс DeepSeek-R1 на AMD Instinct™ MI355X GPU конкурентоспособным по совокупной стоимости владения
Оригинальный заголовок:Blog Win on TCO: How AMD Instinct™ MI355X Achieves Cost-Competitive Distributed Inference Through SGLang with MoRI The SGLang and AMD team has worked closely to unlock competitive Total Cost of Ownership (TCO) for large-scale DeepSeek-R1 disaggregated inference on AMD Instinct™ MI355X GPUs. Building on SGLang's se... AMD & SGLang Team
ИИ-резюме
Команда SGLang совместно с AMD благодаря ряду full-stack оптимизаций добилась конкурентоспособной совокупной стоимости владения при инференсе большой модели DeepSeek-R1 на AMD Instinct™ MI355X GPU. При интерактивной задержке 129 tok/s/user стоимость составляет $0,169 за миллион token — на 5% ниже решения NVIDIA B200 (Dynamo TRT-LLM) и на 40% ниже решения B200 (SGLang). По пропускной способности 24 GPU AMD достигают 2 436 tok/s/GPU, что в 1,25 раза выше пропускной способности на GPU в решении B200 SGLang с 48 GPU. Ключевые оптимизации включают: MoRI all-to-all коммуникацию со смешанным квантованием FP4/FP8, бэкенд KV Cache MoRI-IO, перекрытие двух батчей и SDMA, Specv2 MTP на ROCm и оптимизацию потоковой обработки на CPU.
Ключевые моменты
- Команда SGLang совместно с AMD благодаря ряду full-stack оптимизаций добилась конкурентоспособной…
- При интерактивной задержке 129 tok/s/user стоимость составляет $0,169 за миллион token — на 5%…
- По пропускной способности 24 GPU AMD достигают 2 436 tok/s/GPU,что в 1,25 раза выше пропускной…
- Ключевые оптимизации включают: MoRI all-to-all коммуникацию со смешанным квантованием…
Кратко
- Опубликовано
- Обновлено
- Источник
- LMSYS Blog
- Категория
- Статьи и исследования
- Оценка ИИ
- 69
AMD MI355X跑DeepSeek-R1的TCO比NVIDIA B200低5%,吞吐还高出1.25倍,这是开源框架SGLang对闭源生态的一次真实挑战,做推理部署的应该点开看看完整的全栈优化。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Команда SGLang совместно с AMD сделала раздельный инференс DeepSeek-R1 на AMD Instinct™ MI355X GPU конкурентоспособным по совокупной стоимости владения. 28 мая 2026. https://new.nat6.net/ru/news/cmppprn04028nslvyqxgosjyn/