Bài báo & nghiên cứu

Phá giới hạn phục vụ DeepSeek-V4-Pro: phương pháp tối ưu đa kịch bản trên H20

Tiêu đề gốc:Blog Pushing the Limits of Serving DeepSeek-V4-Pro DeepSeek-V4-Pro is a 1.6-trillion-parameter Mixture-of-Experts (MoE) model released with both FP8 and FP4 weights. Models at this scale naturally benefit from accelerators such as NVIDIA Blackwell GPU... Tianyu Zhang, Yusong Gao, Yun Zhang

Tóm tắt AI

Nhóm LMSYS với mô hình MoE 1,6 nghìn tỷ tham số DeepSeek-V4-Pro đã tiến gần hiệu năng B300 trên GPU H20 thông qua cấu hình phục vụ theo kịch bản. Triển khai tham chiếu H20-141GB một nút đạt 271 output token/giây, thu hẹp khoảng cách hiệu năng với B300 ở 383,7 token/giây xuống còn 1,42 lần.

Thông tin chính

  • Nhóm LMSYS với mô hình MoE 1
  • 6 nghìn tỷ tham số DeepSeek-V4-Pro đã tiến gần hiệu năng B300 trên GPU H20 thông qua cấu hình phục…
  • Triển khai tham chiếu H20-141GB một nút đạt 271 output token/giây,thu hẹp khoảng cách hiệu năng…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
LMSYS Blog
Danh mục
Bài báo & nghiên cứu
Điểm AI
73
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

文章提出按上下文长度与并发需求分场景选择 prefill/decode 配置,并用 Humming 压缩和 Online C128 释放 HBM,使 H20 也能服务 1M 上下文,为受限硬件上的大规模推理提供了可复用的工程思路。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Phá giới hạn phục vụ DeepSeek-V4-Pro: phương pháp tối ưu đa kịch bản trên H20. 19 tháng 8 2026. https://new.nat6.net/vi/news/cmt0e7sxo01eiro2o4l4y9jmh/

Xem tất cả →