ทีม SGLang ร่วมมือกับ AMD ทำให้การอนุมานแบบแยกส่วน DeepSeek-R1 ขนาดใหญ่บน AMD Instinct™ MI355X GPU มีต้นทุนรวมความเป็นเจ้าของที่แข่งขันได้
หัวข้อต้นฉบับ:Blog Win on TCO: How AMD Instinct™ MI355X Achieves Cost-Competitive Distributed Inference Through SGLang with MoRI The SGLang and AMD team has worked closely to unlock competitive Total Cost of Ownership (TCO) for large-scale DeepSeek-R1 disaggregated inference on AMD Instinct™ MI355X GPUs. Building on SGLang's se... AMD & SGLang Team
สรุปโดย AI
ทีม SGLang ร่วมมือกับ AMD ผ่านการปรับแต่งแบบ full-stack หลายรายการ ทำให้ AMD Instinct™ MI355X GPU มีต้นทุนรวมความเป็นเจ้าของที่แข่งขันได้สูงเมื่อรันการอนุมานโมเดลภาษาขนาดใหญ่ DeepSeek-R1 ที่ความหน่วงการโต้ตอบ 129 tok/s/user ต้นทุนอยู่ที่ $0.169 ต่อล้านโทเคน ต่ำกว่าโซลูชัน NVIDIA B200 (Dynamo TRT-LLM) 5% และต่ำกว่าโซลูชัน B200 (SGLang) 40% ด้านปริมาณงาน AMD GPU 24 ตัวทำได้ 2,436 tok/s/GPU สูงกว่าโซลูชัน B200 SGLang ที่ใช้ GPU 48 ตัว 1.25 เท่าในแง่ปริมาณงานต่อ GPU การปรับแต่งหลักประกอบด้วย: การสื่อสารแบบ all-to-all ด้วยการควอนไทซ์ FP4/FP8 แบบผสมของ MoRI, แบ็กเอนด์ KV Cache ของ MoRI-IO, การซ้อนทับสองแบตช์กับ SDMA, Specv2 MTP บน ROCm และการปรับแต่งการสตรีมบน CPU
ข้อมูลสำคัญ
- ทีม SGLang ร่วมมือกับ AMD ผ่านการปรับแต่งแบบ full-stack หลายรายการ ทำให้ AMD Instinct™ MI355X GPU…
- 169 ต่อล้านโทเคน ต่ำกว่าโซลูชัน NVIDIA B200 (Dynamo TRT-LLM) 5% และต่ำกว่าโซลูชัน B200 (SGLang)…
- 25 เท่าในแง่ปริมาณงานต่อ GPU การปรับแต่งหลักประกอบด้วย: การสื่อสารแบบ all-to-all ด้วยการควอนไทซ์…
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- LMSYS Blog
- หมวดหมู่
- บทความและงานวิจัย
- คะแนน AI
- 69
AMD MI355X跑DeepSeek-R1的TCO比NVIDIA B200低5%,吞吐还高出1.25倍,这是开源框架SGLang对闭源生态的一次真实挑战,做推理部署的应该点开看看完整的全栈优化。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: ทีม SGLang ร่วมมือกับ AMD ทำให้การอนุมานแบบแยกส่วน DeepSeek-R1 ขนาดใหญ่บน AMD Instinct™ MI355X GPU มีต้นทุนรวมความเป็นเจ้าของที่แข่งขันได้ 28 พฤษภาคม 2026 https://new.nat6.net/th/news/cmppprn04028nslvyqxgosjyn/