SGLang mengintegrasikan penyahkodan spekulatif DSpark: pengesahan panjang boleh ubah dipacu keyakinan
Tajuk asal:Blog DSpark in SGLang: Speculative Decoding with Confidence-Driven, Variable-Length Verification Speculative decoding trades extra compute for fewer decode steps, and the trade sours as load grows: at batch size B with K speculative tokens the target verifies B K tokens every step, and past a po... SGLang Team
Ringkasan AI
Pasukan SGLang mengintegrasikan algoritma penyahkodan spekulatif DSpark ke dalam enjin penaakulan sumber terbuka. Algoritma ini menggunakan drafter blok separa autoregresif untuk menjana satu set token sekali gus, dan menggunakan kepala keyakinan serta penskalaan suhu berjujukan (STS) untuk memperuntukkan panjang pengesahan boleh ubah secara dinamik bagi setiap permintaan, sekali gus memangkas kos pengesahan tidak sah di bawah beban tinggi. SGLang menyokong model padat (seperti Qwen3) dan model jarang (seperti DeepSeek-V4), dengan graf CUDA penuh mengendalikan panjang pengesahan tidak sekata bagi setiap permintaan. Ia menyediakan tiga mod pengesahan: `static` (panjang penuh), `compact` (laluan pengeluaran) dan `cap-accept` (pengukuran had penerimaan). Ia turut memperkenalkan penjadualan tanpa overhed, penjadual dalam talian berdasarkan jadual kos luar talian, dan kernel Triton bercantum. Dalam ujian menggunakan DeepSeek-V4-Flash pada H200, DSpark mencapai pertukaran daya pemprosesan-latensi yang lebih baik daripada MTP dan garis dasar bukan spekulatif dalam keseluruhan julat keselarian.
Maklumat penting
- Pasukan SGLang mengintegrasikan algoritma penyahkodan spekulatif DSpark ke dalam enjin penaakulan…
- Algoritma ini menggunakan drafter blok separa autoregresif untuk menjana satu set token sekali…
- SGLang menyokong model padat (seperti Qwen3) dan model jarang (seperti DeepSeek-V4),dengan graf…
- Ia menyediakan tiga mod pengesahan: `static` (panjang penuh),`compact` (laluan pengeluaran) dan…
- Ia turut memperkenalkan penjadualan tanpa overhed,penjadual dalam talian berdasarkan jadual kos…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- LMSYS Blog
- Kategori
- Produk & Aplikasi
- Skor AI
- 63
DSpark 这版推测解码的工程落地比论文本身更有看头——SGLang 用 ragged CUDA Graph 和动态调度把 trimm 掉的计算按字节级回收,383 tok/s 的单请求速度对部署方是即时可用的性能增益。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: SGLang mengintegrasikan penyahkodan spekulatif DSpark: pengesahan panjang boleh ubah dipacu keyakinan. 6 Julai 2026. https://new.nat6.net/ms/news/cmr9h98co0470slsmqqc2ilv1/