Ra mắt mô hình

Giải mã suy đoán thế hệ tiếp theo: DFlash và Spec V2

Tiêu đề gốc:Blog The next generation of speculative decoding: DFlash and Spec V2 Using Modal and Z Lab's DFlash speculative decoding models with SGLang’s newly default Spec V2 engine, you can achieve state-of-the-art latencies for LLM inference serving. Our new, jointly-released D... Z Lab, Modal, and SGLang Teams

Tóm tắt AI

Nhóm Z Lab, Modal và SGLang cùng phát hành mô hình giải mã suy đoán DFlash và công cụ Spec V2 mặc định của SGLang. DFlash sử dụng khuếch tán khối + chèn KV để tạo song song toàn bộ khối draft token, trên Qwen 3.5 397B-A17B (BF16) với tập dữ liệu HumanEval, khi đồng thời 1, thông lượng đạt 4,3 lần baseline

Thông tin chính

  • Nhóm Z Lab,Modal và SGLang cùng phát hành mô hình giải mã suy đoán DFlash và công cụ Spec V2 mặc…
  • DFlash sử dụng khuếch tán khối + chèn KV để tạo song song toàn bộ khối draft token,trên Qwen 3.
  • 5 397B-A17B (BF16) với tập dữ liệu HumanEval,khi đồng thời 1,thông lượng đạt 4,3 lần baseline

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
LMSYS Blog
Danh mục
Ra mắt mô hình
Điểm AI
67
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

DFlash 用并行起草和 KV 注入实现了实测 4.3 倍吞吐,再加上 SGLang Spec V2 引擎优化,推理加速不再是纸上谈兵。做 LLM 部署和推理服务的人,可以直接用这个组合试试。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Giải mã suy đoán thế hệ tiếp theo: DFlash và Spec V2. 15 tháng 6 2026. https://new.nat6.net/vi/news/cmqfhhoq001hksl2aw53w2wz8/

Xem tất cả →