Susunod na henerasyon ng speculative decoding: DFlash at Spec V2
Orihinal na pamagat:Blog The next generation of speculative decoding: DFlash and Spec V2 Using Modal and Z Lab's DFlash speculative decoding models with SGLang’s newly default Spec V2 engine, you can achieve state-of-the-art latencies for LLM inference serving. Our new, jointly-released D... Z Lab, Modal, and SGLang Teams
AI summary
Sama-samang inilabas ng Z Lab, Modal at SGLang team ang DFlash speculative decoding model at ang default na Spec V2 engine ng SGLang. Gumagamit ang DFlash ng block diffusion + KV injection upang parallel na bumuo ng buong bloke ng draft token, sa HumanEval dataset ng Qwen 3.5 397B-A17B (BF16), sa concurrency 1, ang throughput ay umabot sa 4.3 ng baseline
Mahahalagang impormasyon
- Sama-samang inilabas ng Z Lab,Modal at SGLang team ang DFlash speculative decoding model at ang…
- Gumagamit ang DFlash ng block diffusion + KV injection upang parallel na bumuo ng buong bloke ng…
- 5 397B-A17B (BF16),sa concurrency 1,ang throughput ay umabot sa 4.
- 3 ng baseline
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- LMSYS Blog
- Kategorya
- Paglabas ng modelo
- AI na marka
- 67
DFlash 用并行起草和 KV 注入实现了实测 4.3 倍吞吐,再加上 SGLang Spec V2 引擎优化,推理加速不再是纸上谈兵。做 LLM 部署和推理服务的人,可以直接用这个组合试试。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Susunod na henerasyon ng speculative decoding: DFlash at Spec V2. 15 Hunyo 2026. https://new.nat6.net/fil/news/cmqfhhoq001hksl2aw53w2wz8/