SGLang, isinama ang DSpark speculative decoding: variable-length verification na pinapatakbo ng confidence
Orihinal na pamagat:Blog DSpark in SGLang: Speculative Decoding with Confidence-Driven, Variable-Length Verification Speculative decoding trades extra compute for fewer decode steps, and the trade sours as load grows: at batch size B with K speculative tokens the target verifies B K tokens every step, and past a po... SGLang Team
AI summary
Isinama ng SGLang team ang DSpark speculative decoding algorithm sa open source inference engine. Gumagamit ang algorithm ng semi-autoregressive block drafter na bumubuo ng isang set ng token nang sabay-sabay, at gumagamit ng confidence head at sequential temperature scaling (STS) para dynamic na maglaan ng variable verification length sa bawat request, kaya napuputol ang walang saysay na verification cost sa ilalim ng mataas na load. Sinusuportahan ng SGLang ang dense model (tulad ng Qwen3) at sparse model (tulad ng DeepSeek-V4), at pinoproseso sa pamamagitan ng full CUDA graph ang irregular na verification length ng bawat request. May tatlong verification mode: `static` (full length), `compact` (production path), at `cap-accept` (pagsukat ng accept cap). Nagdagdag din ito ng zero-overhead scheduling, online scheduler na nakabatay sa offline cost table, at fused Triton kernel at iba pang optimization. Sa test gamit ang DeepSeek-V4-Flash sa H200, nakamit ng DSpark ang mas magandang throughput-latency tradeoff kaysa MTP at non-speculative baseline sa buong concurrency sweep.
Mahahalagang impormasyon
- Isinama ng SGLang team ang DSpark speculative decoding algorithm sa open source inference engine.
- Gumagamit ang algorithm ng semi-autoregressive block drafter na bumubuo ng isang set ng token nang…
- Sinusuportahan ng SGLang ang dense model (tulad ng Qwen3) at sparse model (tulad ng…
- May tatlong verification mode: `static` (full length),`compact` (production path),at `cap-accept`…
- Nagdagdag din ito ng zero-overhead scheduling,online scheduler na nakabatay sa offline cost…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- LMSYS Blog
- Kategorya
- Mga produkto at aplikasyon
- AI na marka
- 63
DSpark 这版推测解码的工程落地比论文本身更有看头——SGLang 用 ragged CUDA Graph 和动态调度把 trimm 掉的计算按字节级回收,383 tok/s 的单请求速度对部署方是即时可用的性能增益。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: SGLang, isinama ang DSpark speculative decoding: variable-length verification na pinapatakbo ng confidence. 6 Hulyo 2026. https://new.nat6.net/fil/news/cmr9h98co0470slsmqqc2ilv1/