Paglabas ng modelo

Susunod na henerasyon ng speculative decoding: DFlash at Spec V2

Orihinal na pamagat:Blog The next generation of speculative decoding: DFlash and Spec V2 Using Modal and Z Lab's DFlash speculative decoding models with SGLang’s newly default Spec V2 engine, you can achieve state-of-the-art latencies for LLM inference serving. Our new, jointly-released D... Z Lab, Modal, and SGLang Teams

AI summary

Sama-samang inilabas ng Z Lab, Modal at SGLang team ang DFlash speculative decoding model at ang default na Spec V2 engine ng SGLang. Gumagamit ang DFlash ng block diffusion + KV injection upang parallel na bumuo ng buong bloke ng draft token, sa HumanEval dataset ng Qwen 3.5 397B-A17B (BF16), sa concurrency 1, ang throughput ay umabot sa 4.3 ng baseline

Mahahalagang impormasyon

  • Sama-samang inilabas ng Z Lab,Modal at SGLang team ang DFlash speculative decoding model at ang…
  • Gumagamit ang DFlash ng block diffusion + KV injection upang parallel na bumuo ng buong bloke ng…
  • 5 397B-A17B (BF16),sa concurrency 1,ang throughput ay umabot sa 4.
  • 3 ng baseline

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
LMSYS Blog
Kategorya
Paglabas ng modelo
AI na marka
67
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

DFlash 用并行起草和 KV 注入实现了实测 4.3 倍吞吐,再加上 SGLang Spec V2 引擎优化,推理加速不再是纸上谈兵。做 LLM 部署和推理服务的人,可以直接用这个组合试试。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Susunod na henerasyon ng speculative decoding: DFlash at Spec V2. 15 Hunyo 2026. https://new.nat6.net/fil/news/cmqfhhoq001hksl2aw53w2wz8/

Tingnan lahat →