SGLang tích hợp giải mã suy đoán DSpark: xác minh độ dài thay đổi dựa trên độ tin cậy
Tiêu đề gốc:Blog DSpark in SGLang: Speculative Decoding with Confidence-Driven, Variable-Length Verification Speculative decoding trades extra compute for fewer decode steps, and the trade sours as load grows: at batch size B with K speculative tokens the target verifies B K tokens every step, and past a po... SGLang Team
Tóm tắt AI
Nhóm SGLang đã tích hợp thuật toán giải mã suy đoán DSpark vào công cụ suy luận mã nguồn mở. Thuật toán sử dụng bộ soạn thảo khối bán tự hồi quy để tạo một nhóm token mỗi lần, đồng thời dùng đầu độ tin cậy và chia tỷ lệ nhiệt độ tuần tự (STS) để phân bổ động độ dài xác minh thay đổi cho mỗi yêu cầu, từ đó cắt giảm chi phí xác minh không hiệu quả khi tải cao. SGLang hỗ trợ mô hình dày đặc (như Qwen3) và mô hình thưa (như DeepSeek-V4), xử lý độ dài xác minh không đồng đều theo từng yêu cầu thông qua đồ thị CUDA đầy đủ. Cung cấp ba chế độ xác minh: `static` (toàn bộ độ dài), `compact` (đường dẫn sản xuất) và `cap-accept` (đo giới hạn chấp nhận). Cũng giới thiệu lập lịch không chi phí, bộ lập lịch trực tuyến dựa trên bảng chi phí ngoại tuyến, nhân Triton hợp nhất và các tối ưu khác. Trong thử nghiệm với DeepSeek-V4-Flash trên H200, DSpark đạt được sự cân bằng thông lượng-độ trễ tốt hơn so với MTP và đường cơ sở không suy đoán trong toàn bộ phạm vi quét đồng thời.
Thông tin chính
- Nhóm SGLang đã tích hợp thuật toán giải mã suy đoán DSpark vào công cụ suy luận mã nguồn mở.
- Thuật toán sử dụng bộ soạn thảo khối bán tự hồi quy để tạo một nhóm token mỗi lần,đồng thời dùng…
- SGLang hỗ trợ mô hình dày đặc (như Qwen3) và mô hình thưa (như DeepSeek-V4),xử lý độ dài xác minh…
- Cung cấp ba chế độ xác minh: `static` (toàn bộ độ dài),`compact` (đường dẫn sản xuất) và…
- Cũng giới thiệu lập lịch không chi phí,bộ lập lịch trực tuyến dựa trên bảng chi phí ngoại…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- LMSYS Blog
- Danh mục
- Sản phẩm & ứng dụng
- Điểm AI
- 63
DSpark 这版推测解码的工程落地比论文本身更有看头——SGLang 用 ragged CUDA Graph 和动态调度把 trimm 掉的计算按字节级回收,383 tok/s 的单请求速度对部署方是即时可用的性能增益。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: SGLang tích hợp giải mã suy đoán DSpark: xác minh độ dài thay đổi dựa trên độ tin cậy. 6 tháng 7 2026. https://new.nat6.net/vi/news/cmr9h98co0470slsmqqc2ilv1/