La próxima generación de decodificación especulativa: DFlash y Spec V2
Título original:Blog The next generation of speculative decoding: DFlash and Spec V2 Using Modal and Z Lab's DFlash speculative decoding models with SGLang’s newly default Spec V2 engine, you can achieve state-of-the-art latencies for LLM inference serving. Our new, jointly-released D... Z Lab, Modal, and SGLang Teams
Resumen de IA
Z Lab, Modal y el equipo de SGLang han publicado conjuntamente el modelo de decodificación especulativa DFlash y el motor Spec V2, predeterminado en SGLang. DFlash utiliza difusión por bloques e inyección de KV para generar en paralelo bloques completos de tokens draft; en el conjunto de datos HumanEval de Qwen 3.5 397B-A17B (BF16) y con concurrencia 1, su rendimiento alcanza 4,3 veces la línea base
Puntos clave
- Z Lab,Modal y el equipo de SGLang han publicado conjuntamente el modelo de decodificación…
- DFlash utiliza difusión por bloques e inyección de KV para generar en paralelo bloques completos…
- en el conjunto de datos HumanEval de Qwen 3.
- 5 397B-A17B (BF16) y con concurrencia 1,su rendimiento alcanza 4,3 veces la línea base
Resumen rápido
- Publicado
- Actualizado
- Fuente
- LMSYS Blog
- Categoría
- Lanzamientos de modelos
- Puntuación IA
- 67
DFlash 用并行起草和 KV 注入实现了实测 4.3 倍吞吐,再加上 SGLang Spec V2 引擎优化,推理加速不再是纸上谈兵。做 LLM 部署和推理服务的人,可以直接用这个组合试试。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: La próxima generación de decodificación especulativa: DFlash y Spec V2. 15. junio 2026. https://new.nat6.net/es/news/cmqfhhoq001hksl2aw53w2wz8/