SGLang mengintegrasikan decoding spekulatif DSpark: verifikasi panjang variabel yang digerakkan keyakinan
Judul asli:Blog DSpark in SGLang: Speculative Decoding with Confidence-Driven, Variable-Length Verification Speculative decoding trades extra compute for fewer decode steps, and the trade sours as load grows: at batch size B with K speculative tokens the target verifies B K tokens every step, and past a po... SGLang Team
Ringkasan AI
Tim SGLang mengintegrasikan algoritma decoding spekulatif DSpark ke dalam mesin inferensi sumber terbuka. Algoritma ini menggunakan drafter blok semi-autoregresif untuk menghasilkan sekelompok token sekaligus, dan memanfaatkan confidence head serta sequential temperature scaling (STS) untuk mengalokasikan panjang verifikasi variabel secara dinamis bagi setiap permintaan, sehingga memangkas biaya verifikasi yang tidak valid di bawah beban tinggi. SGLang mendukung model padat (seperti Qwen3) dan model sparse (seperti DeepSeek-V4), dengan CUDA graph penuh untuk menangani panjang verifikasi per permintaan yang tidak seragam. Tersedia tiga mode verifikasi: `static` (panjang penuh), `compact` (jalur produksi), dan `cap-accept` (pengukuran batas penerimaan). Juga diperkenalkan penjadwalan tanpa overhead, penjadwal daring berbasis tabel biaya offline, dan kernel Triton yang digabungkan. Dalam pengujian menggunakan DeepSeek-V4-Flash pada H200, DSpark mencapai trade-off throughput-latensi yang lebih baik daripada MTP dan baseline non-spekulatif di seluruh rentang pemindaian konkurensi.
Poin utama
- Tim SGLang mengintegrasikan algoritma decoding spekulatif DSpark ke dalam mesin inferensi sumber…
- Algoritma ini menggunakan drafter blok semi-autoregresif untuk menghasilkan sekelompok token…
- SGLang mendukung model padat (seperti Qwen3) dan model sparse (seperti DeepSeek-V4),dengan CUDA…
- Tersedia tiga mode verifikasi: `static` (panjang penuh),`compact` (jalur produksi),dan…
- Juga diperkenalkan penjadwalan tanpa overhead,penjadwal daring berbasis tabel biaya offline,dan…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- LMSYS Blog
- Kategori
- Produk & Aplikasi
- Skor AI
- 63
DSpark 这版推测解码的工程落地比论文本身更有看头——SGLang 用 ragged CUDA Graph 和动态调度把 trimm 掉的计算按字节级回收,383 tok/s 的单请求速度对部署方是即时可用的性能增益。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: SGLang mengintegrasikan decoding spekulatif DSpark: verifikasi panjang variabel yang digerakkan keyakinan. 6 Juli 2026. https://new.nat6.net/id/news/cmr9h98co0470slsmqqc2ilv1/