Tim SGLang bekerja sama dengan AMD agar inferensi terpisah DeepSeek-R1 skala besar pada GPU AMD Instinct™ MI355X kompetitif dari sisi total biaya kepemilikan
Judul asli:Blog Win on TCO: How AMD Instinct™ MI355X Achieves Cost-Competitive Distributed Inference Through SGLang with MoRI The SGLang and AMD team has worked closely to unlock competitive Total Cost of Ownership (TCO) for large-scale DeepSeek-R1 disaggregated inference on AMD Instinct™ MI355X GPUs. Building on SGLang's se... AMD & SGLang Team
Ringkasan AI
Tim SGLang dan AMD bekerja sama melalui serangkaian optimasi full-stack sehingga GPU AMD Instinct™ MI355X mencapai total biaya kepemilikan yang sangat kompetitif saat menjalankan inferensi model besar DeepSeek-R1. Pada latensi interaktif 129 tok/s/pengguna, biayanya $0,169 per juta token, 5% lebih rendah daripada solusi NVIDIA B200 (Dynamo TRT-LLM) dan 40% lebih rendah daripada solusi B200 (SGLang). Dari sisi throughput, 24 GPU AMD mencapai 2.436 tok/s/GPU, 1,25 kali lebih tinggi per GPU dibandingkan solusi B200 SGLang yang menggunakan 48 GPU. Optimasi inti meliputi: komunikasi all-to-all terkuantisasi campuran FP4/FP8 MoRI, backend KV Cache MoRI-IO, overlapped dua batch dan SDMA, Specv2 MTP pada ROCm, serta optimasi streaming CPU.
Poin utama
- Tim SGLang dan AMD bekerja sama melalui serangkaian optimasi full-stack sehingga GPU AMD Instinct™…
- Pada latensi interaktif 129 tok/s/pengguna,biayanya $0,169 per juta token,5% lebih rendah daripada…
- Dari sisi throughput,24 GPU AMD mencapai 2.
- 436 tok/s/GPU,1,25 kali lebih tinggi per GPU dibandingkan solusi B200 SGLang yang menggunakan 48…
- Optimasi inti meliputi: komunikasi all-to-all terkuantisasi campuran FP4/FP8 MoRI,backend KV Cache…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- LMSYS Blog
- Kategori
- Makalah & Riset
- Skor AI
- 69
AMD MI355X跑DeepSeek-R1的TCO比NVIDIA B200低5%,吞吐还高出1.25倍,这是开源框架SGLang对闭源生态的一次真实挑战,做推理部署的应该点开看看完整的全栈优化。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Tim SGLang bekerja sama dengan AMD agar inferensi terpisah DeepSeek-R1 skala besar pada GPU AMD Instinct™ MI355X kompetitif dari sisi total biaya kepemilikan. 28 Mei 2026. https://new.nat6.net/id/news/cmppprn04028nslvyqxgosjyn/