Makalah & Riset

Tim SGLang bekerja sama dengan AMD agar inferensi terpisah DeepSeek-R1 skala besar pada GPU AMD Instinct™ MI355X kompetitif dari sisi total biaya kepemilikan

Judul asli:Blog Win on TCO: How AMD Instinct™ MI355X Achieves Cost-Competitive Distributed Inference Through SGLang with MoRI The SGLang and AMD team has worked closely to unlock competitive Total Cost of Ownership (TCO) for large-scale DeepSeek-R1 disaggregated inference on AMD Instinct™ MI355X GPUs. Building on SGLang's se... AMD & SGLang Team

Ringkasan AI

Tim SGLang dan AMD bekerja sama melalui serangkaian optimasi full-stack sehingga GPU AMD Instinct™ MI355X mencapai total biaya kepemilikan yang sangat kompetitif saat menjalankan inferensi model besar DeepSeek-R1. Pada latensi interaktif 129 tok/s/pengguna, biayanya $0,169 per juta token, 5% lebih rendah daripada solusi NVIDIA B200 (Dynamo TRT-LLM) dan 40% lebih rendah daripada solusi B200 (SGLang). Dari sisi throughput, 24 GPU AMD mencapai 2.436 tok/s/GPU, 1,25 kali lebih tinggi per GPU dibandingkan solusi B200 SGLang yang menggunakan 48 GPU. Optimasi inti meliputi: komunikasi all-to-all terkuantisasi campuran FP4/FP8 MoRI, backend KV Cache MoRI-IO, overlapped dua batch dan SDMA, Specv2 MTP pada ROCm, serta optimasi streaming CPU.

Poin utama

  • Tim SGLang dan AMD bekerja sama melalui serangkaian optimasi full-stack sehingga GPU AMD Instinct™…
  • Pada latensi interaktif 129 tok/s/pengguna,biayanya $0,169 per juta token,5% lebih rendah daripada…
  • Dari sisi throughput,24 GPU AMD mencapai 2.
  • 436 tok/s/GPU,1,25 kali lebih tinggi per GPU dibandingkan solusi B200 SGLang yang menggunakan 48…
  • Optimasi inti meliputi: komunikasi all-to-all terkuantisasi campuran FP4/FP8 MoRI,backend KV Cache…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
LMSYS Blog
Kategori
Makalah & Riset
Skor AI
69
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

AMD MI355X跑DeepSeek-R1的TCO比NVIDIA B200低5%,吞吐还高出1.25倍,这是开源框架SGLang对闭源生态的一次真实挑战,做推理部署的应该点开看看完整的全栈优化。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Tim SGLang bekerja sama dengan AMD agar inferensi terpisah DeepSeek-R1 skala besar pada GPU AMD Instinct™ MI355X kompetitif dari sisi total biaya kepemilikan. 28 Mei 2026. https://new.nat6.net/id/news/cmppprn04028nslvyqxgosjyn/

Lihat semua →