Phá giới hạn phục vụ DeepSeek-V4-Pro: phương pháp tối ưu đa kịch bản trên H20
Tiêu đề gốc:Blog Pushing the Limits of Serving DeepSeek-V4-Pro DeepSeek-V4-Pro is a 1.6-trillion-parameter Mixture-of-Experts (MoE) model released with both FP8 and FP4 weights. Models at this scale naturally benefit from accelerators such as NVIDIA Blackwell GPU... Tianyu Zhang, Yusong Gao, Yun Zhang
Tóm tắt AI
Nhóm LMSYS với mô hình MoE 1,6 nghìn tỷ tham số DeepSeek-V4-Pro đã tiến gần hiệu năng B300 trên GPU H20 thông qua cấu hình phục vụ theo kịch bản. Triển khai tham chiếu H20-141GB một nút đạt 271 output token/giây, thu hẹp khoảng cách hiệu năng với B300 ở 383,7 token/giây xuống còn 1,42 lần.
Thông tin chính
- Nhóm LMSYS với mô hình MoE 1
- 6 nghìn tỷ tham số DeepSeek-V4-Pro đã tiến gần hiệu năng B300 trên GPU H20 thông qua cấu hình phục…
- Triển khai tham chiếu H20-141GB một nút đạt 271 output token/giây,thu hẹp khoảng cách hiệu năng…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- LMSYS Blog
- Danh mục
- Bài báo & nghiên cứu
- Điểm AI
- 73
文章提出按上下文长度与并发需求分场景选择 prefill/decode 配置,并用 Humming 压缩和 Online C128 释放 HBM,使 H20 也能服务 1M 上下文,为受限硬件上的大规模推理提供了可复用的工程思路。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Phá giới hạn phục vụ DeepSeek-V4-Pro: phương pháp tối ưu đa kịch bản trên H20. 19 tháng 8 2026. https://new.nat6.net/vi/news/cmt0e7sxo01eiro2o4l4y9jmh/