Bài báo & nghiên cứu

Ling-3.0-flash giảm 54% độ trễ giải mã batch 1 trên 4 GPU Blackwell như thế nào

Tiêu đề gốc:Blog Chasing the Batch-1 Floor: Ling-3.0-flash Speculative Decode on Blackwell Batch-1 decode keeps getting more important. Xiaomi MiMo, for example, announced MiMo-V2.5-Pro UltraSpeed in June, claiming 1,000 tok/s decode on a one-trillion-parameter MoE model. Batch 1 gives an ... RadixArk SGLang Team, Ant Ling Infra Team

Tóm tắt AI

Nhóm Ling Infra của Ant và nhóm SGLang của RadixArk đã nâng tốc độ giải mã một yêu cầu của mô hình MoE chú ý tuyến tính lai Ling-3.0-flash từ 288 tok/s lên 606 tok/s, TPOT trung bình giảm từ 3,33 ms xuống 1,53 ms.

Thông tin chính

  • Nhóm Ling Infra của Ant và nhóm SGLang của RadixArk đã nâng tốc độ giải mã một yêu cầu của mô hình…
  • 0-flash từ 288 tok/s lên 606 tok/s,TPOT trung bình giảm từ 3
  • 33 ms xuống 1

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
LMSYS Blog
Danh mục
Bài báo & nghiên cứu
Điểm AI
63
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

对做单请求低延迟推理的团队,可迁移的是先把主机从 GPU 进度上解绑再优化 GPU 关键路径,否则主机的同步等待会变成每步的 GPU 气泡,这与具体模型无关。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Ling-3.0-flash giảm 54% độ trễ giải mã batch 1 trên 4 GPU Blackwell như thế nào. 21 tháng 8 2026. https://new.nat6.net/vi/news/cmt393qov0kfhro6tuwhxhubl/

Xem tất cả →