下一代投机解码:DFlash 与 Spec V2
原文标题:Blog The next generation of speculative decoding: DFlash and Spec V2 Using Modal and Z Lab's DFlash speculative decoding models with SGLang’s newly default Spec V2 engine, you can achieve state-of-the-art latencies for LLM inference serving. Our new, jointly-released D... Z Lab, Modal, and SGLang Teams
AI 摘要
Z Lab、Modal 与 SGLang 团队联合发布 DFlash 投机解码模型和 SGLang 的默认 Spec V2 引擎。DFlash 采用块扩散+KV 注入并行生成整块 draft token,在 Qwen 3.5 397B-A17B(BF16)的 HumanEval 数据集上、并发 1 时吞吐量达到基线的 4.3
关键信息
- Z Lab、Modal 与 SGLang 团队联合发布 DFlash 投机解码模型和 SGLang 的默认 Spec V2 引擎。
- DFlash 采用块扩散+KV 注入并行生成整块 draft token,在 Qwen 3.
- 5 397B-A17B(BF16)的 HumanEval 数据集上、并发 1 时吞吐量达到基线的 4.
- DFlash 用并行起草和 KV 注入实现了实测 4.
- 3 倍吞吐,再加上 SGLang Spec V2 引擎优化,推理加速不再是纸上谈兵。
速览
- 发布时间
- 更新时间
- 来源
- LMSYS Blog
- 分类
- 模型发布
- AI 评分
- 67
DFlash 用并行起草和 KV 注入实现了实测 4.3 倍吞吐,再加上 SGLang Spec V2 引擎优化,推理加速不再是纸上谈兵。做 LLM 部署和推理服务的人,可以直接用这个组合试试。
相关实体
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:下一代投机解码:DFlash 与 Spec V2。2026年6月15日。https://new.nat6.net/news/cmqfhhoq001hksl2aw53w2wz8/