Bài báo & nghiên cứu

Nhóm SGLang hợp tác với AMD, giúp suy luận tách rời DeepSeek-R1 quy mô lớn trên AMD Instinct™ MI355X GPU có tổng chi phí sở hữu cạnh tranh

Tiêu đề gốc:Blog Win on TCO: How AMD Instinct™ MI355X Achieves Cost-Competitive Distributed Inference Through SGLang with MoRI The SGLang and AMD team has worked closely to unlock competitive Total Cost of Ownership (TCO) for large-scale DeepSeek-R1 disaggregated inference on AMD Instinct™ MI355X GPUs. Building on SGLang's se... AMD & SGLang Team

Tóm tắt AI

Nhóm SGLang hợp tác với AMD, thông qua một loạt tối ưu hóa toàn ngăn xếp, giúp AMD Instinct™ MI355X GPU đạt tổng chi phí sở hữu rất cạnh tranh khi chạy suy luận mô hình lớn DeepSeek-R1. Với độ trễ tương tác 129 tok/s/user, chi phí là 0,169 USD mỗi triệu token, thấp hơn 5% so với phương án NVIDIA B200 (Dynamo TRT-LLM) và thấp hơn 40% so với phương án B200 (SGLang). Về thông lượng, 24 GPU AMD đạt 2.436 tok/s/GPU, thông lượng mỗi GPU cao hơn 1,25 lần so với phương án B200 SGLang dùng 48 GPU. Các tối ưu cốt lõi gồm: truyền thông toàn-toàn lượng tử hóa hỗn hợp FP4/FP8 MoRI, backend KV Cache MoRI-IO, chồng lấp hai lô và SDMA, Specv2 MTP trên ROCm và tối ưu xử lý luồng CPU.

Thông tin chính

  • Nhóm SGLang hợp tác với AMD,thông qua một loạt tối ưu hóa toàn ngăn xếp,giúp AMD Instinct™ MI355X…
  • Với độ trễ tương tác 129 tok/s/user,chi phí là 0,169 USD mỗi triệu token,thấp hơn 5% so với phương…
  • Về thông lượng,24 GPU AMD đạt 2.
  • 436 tok/s/GPU,thông lượng mỗi GPU cao hơn 1,25 lần so với phương án B200 SGLang dùng 48 GPU.
  • Các tối ưu cốt lõi gồm: truyền thông toàn-toàn lượng tử hóa hỗn hợp FP4/FP8 MoRI,backend KV Cache…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
LMSYS Blog
Danh mục
Bài báo & nghiên cứu
Điểm AI
69
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

AMD MI355X跑DeepSeek-R1的TCO比NVIDIA B200低5%,吞吐还高出1.25倍,这是开源框架SGLang对闭源生态的一次真实挑战,做推理部署的应该点开看看完整的全栈优化。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Nhóm SGLang hợp tác với AMD, giúp suy luận tách rời DeepSeek-R1 quy mô lớn trên AMD Instinct™ MI355X GPU có tổng chi phí sở hữu cạnh tranh. 28 tháng 5 2026. https://new.nat6.net/vi/news/cmppprn04028nslvyqxgosjyn/

Xem tất cả →