บทความและงานวิจัย

ทีม SGLang ร่วมมือกับ AMD ทำให้การอนุมานแบบแยกส่วน DeepSeek-R1 ขนาดใหญ่บน AMD Instinct™ MI355X GPU มีต้นทุนรวมความเป็นเจ้าของที่แข่งขันได้

หัวข้อต้นฉบับ:Blog Win on TCO: How AMD Instinct™ MI355X Achieves Cost-Competitive Distributed Inference Through SGLang with MoRI The SGLang and AMD team has worked closely to unlock competitive Total Cost of Ownership (TCO) for large-scale DeepSeek-R1 disaggregated inference on AMD Instinct™ MI355X GPUs. Building on SGLang's se... AMD & SGLang Team

สรุปโดย AI

ทีม SGLang ร่วมมือกับ AMD ผ่านการปรับแต่งแบบ full-stack หลายรายการ ทำให้ AMD Instinct™ MI355X GPU มีต้นทุนรวมความเป็นเจ้าของที่แข่งขันได้สูงเมื่อรันการอนุมานโมเดลภาษาขนาดใหญ่ DeepSeek-R1 ที่ความหน่วงการโต้ตอบ 129 tok/s/user ต้นทุนอยู่ที่ $0.169 ต่อล้านโทเคน ต่ำกว่าโซลูชัน NVIDIA B200 (Dynamo TRT-LLM) 5% และต่ำกว่าโซลูชัน B200 (SGLang) 40% ด้านปริมาณงาน AMD GPU 24 ตัวทำได้ 2,436 tok/s/GPU สูงกว่าโซลูชัน B200 SGLang ที่ใช้ GPU 48 ตัว 1.25 เท่าในแง่ปริมาณงานต่อ GPU การปรับแต่งหลักประกอบด้วย: การสื่อสารแบบ all-to-all ด้วยการควอนไทซ์ FP4/FP8 แบบผสมของ MoRI, แบ็กเอนด์ KV Cache ของ MoRI-IO, การซ้อนทับสองแบตช์กับ SDMA, Specv2 MTP บน ROCm และการปรับแต่งการสตรีมบน CPU

ข้อมูลสำคัญ

  • ทีม SGLang ร่วมมือกับ AMD ผ่านการปรับแต่งแบบ full-stack หลายรายการ ทำให้ AMD Instinct™ MI355X GPU…
  • 169 ต่อล้านโทเคน ต่ำกว่าโซลูชัน NVIDIA B200 (Dynamo TRT-LLM) 5% และต่ำกว่าโซลูชัน B200 (SGLang)…
  • 25 เท่าในแง่ปริมาณงานต่อ GPU การปรับแต่งหลักประกอบด้วย: การสื่อสารแบบ all-to-all ด้วยการควอนไทซ์…

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
LMSYS Blog
หมวดหมู่
บทความและงานวิจัย
คะแนน AI
69
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

AMD MI355X跑DeepSeek-R1的TCO比NVIDIA B200低5%,吞吐还高出1.25倍,这是开源框架SGLang对闭源生态的一次真实挑战,做推理部署的应该点开看看完整的全栈优化。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: ทีม SGLang ร่วมมือกับ AMD ทำให้การอนุมานแบบแยกส่วน DeepSeek-R1 ขนาดใหญ่บน AMD Instinct™ MI355X GPU มีต้นทุนรวมความเป็นเจ้าของที่แข่งขันได้ 28 พฤษภาคม 2026 https://new.nat6.net/th/news/cmppprn04028nslvyqxgosjyn/

ดูทั้งหมด →