Pasukan SGLang bekerjasama dengan AMD, jadikan penaakulan terpisah DeepSeek-R1 berskala besar pada AMD Instinct™ MI355X GPU berdaya saing dari segi jumlah kos pemilikan
Tajuk asal:Blog Win on TCO: How AMD Instinct™ MI355X Achieves Cost-Competitive Distributed Inference Through SGLang with MoRI The SGLang and AMD team has worked closely to unlock competitive Total Cost of Ownership (TCO) for large-scale DeepSeek-R1 disaggregated inference on AMD Instinct™ MI355X GPUs. Building on SGLang's se... AMD & SGLang Team
Ringkasan AI
Pasukan SGLang dan AMD bekerjasama melalui satu siri pengoptimuman tindanan penuh untuk menjadikan AMD Instinct™ MI355X GPU mencapai jumlah kos pemilikan yang sangat berdaya saing semasa menjalankan penaakulan model besar DeepSeek-R1. Pada kependaman interaktif 129 tok/s/pengguna, kosnya ialah $0.169 setiap juta token, 5% lebih rendah daripada penyelesaian NVIDIA B200 (Dynamo TRT-LLM) dan 40% lebih rendah daripada penyelesaian B200 (SGLang). Dari segi daya pemprosesan, 24 GPU AMD mencapai 2,436 tok/s/GPU, 1.25 kali lebih tinggi daya pemprosesan setiap GPU berbanding penyelesaian B200 SGLang yang menggunakan 48 GPU. Pengoptimuman teras termasuk: komunikasi semua-ke-semua kuantisasi campuran FP4/FP8 MoRI, backend Cache KV MoRI-IO, pertindihan dua kelompok dan SDMA, Specv2 MTP pada ROCm serta pengoptimuman penstriman CPU.
Maklumat penting
- Pasukan SGLang dan AMD bekerjasama melalui satu siri pengoptimuman tindanan penuh untuk menjadikan…
- Pada kependaman interaktif 129 tok/s/pengguna,kosnya ialah $0.
- 169 setiap juta token,5% lebih rendah daripada penyelesaian NVIDIA B200 (Dynamo TRT-LLM) dan 40%…
- Dari segi daya pemprosesan,24 GPU AMD mencapai 2,436 tok/s/GPU,1.
- 25 kali lebih tinggi daya pemprosesan setiap GPU berbanding penyelesaian B200 SGLang yang…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- LMSYS Blog
- Kategori
- Kertas penyelidikan
- Skor AI
- 69
AMD MI355X跑DeepSeek-R1的TCO比NVIDIA B200低5%,吞吐还高出1.25倍,这是开源框架SGLang对闭源生态的一次真实挑战,做推理部署的应该点开看看完整的全栈优化。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Pasukan SGLang bekerjasama dengan AMD, jadikan penaakulan terpisah DeepSeek-R1 berskala besar pada AMD Instinct™ MI355X GPU berdaya saing dari segi jumlah kos pemilikan. 28 Mei 2026. https://new.nat6.net/ms/news/cmppprn04028nslvyqxgosjyn/