模型发布

下一代投机解码:DFlash 与 Spec V2

原文标题:Blog The next generation of speculative decoding: DFlash and Spec V2 Using Modal and Z Lab's DFlash speculative decoding models with SGLang’s newly default Spec V2 engine, you can achieve state-of-the-art latencies for LLM inference serving. Our new, jointly-released D... Z Lab, Modal, and SGLang Teams

AI 摘要

Z Lab、Modal 与 SGLang 团队联合发布 DFlash 投机解码模型和 SGLang 的默认 Spec V2 引擎。DFlash 采用块扩散+KV 注入并行生成整块 draft token,在 Qwen 3.5 397B-A17B(BF16)的 HumanEval 数据集上、并发 1 时吞吐量达到基线的 4.3

关键信息

  • Z Lab、Modal 与 SGLang 团队联合发布 DFlash 投机解码模型和 SGLang 的默认 Spec V2 引擎。
  • DFlash 采用块扩散+KV 注入并行生成整块 draft token,在 Qwen 3.
  • 5 397B-A17B(BF16)的 HumanEval 数据集上、并发 1 时吞吐量达到基线的 4.
  • DFlash 用并行起草和 KV 注入实现了实测 4.
  • 3 倍吞吐,再加上 SGLang Spec V2 引擎优化,推理加速不再是纸上谈兵。

速览

发布时间
更新时间
来源
LMSYS Blog
分类
模型发布
AI 评分
67
阅读原文 前往信息源阅读完整正文
推荐理由

DFlash 用并行起草和 KV 注入实现了实测 4.3 倍吞吐,再加上 SGLang Spec V2 引擎优化,推理加速不再是纸上谈兵。做 LLM 部署和推理服务的人,可以直接用这个组合试试。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:下一代投机解码:DFlash 与 Spec V2。2026年6月15日。https://new.nat6.net/news/cmqfhhoq001hksl2aw53w2wz8/

查看全部 →