Lanzamientos de modelos

La próxima generación de decodificación especulativa: DFlash y Spec V2

Título original:Blog The next generation of speculative decoding: DFlash and Spec V2 Using Modal and Z Lab's DFlash speculative decoding models with SGLang’s newly default Spec V2 engine, you can achieve state-of-the-art latencies for LLM inference serving. Our new, jointly-released D... Z Lab, Modal, and SGLang Teams

Resumen de IA

Z Lab, Modal y el equipo de SGLang han publicado conjuntamente el modelo de decodificación especulativa DFlash y el motor Spec V2, predeterminado en SGLang. DFlash utiliza difusión por bloques e inyección de KV para generar en paralelo bloques completos de tokens draft; en el conjunto de datos HumanEval de Qwen 3.5 397B-A17B (BF16) y con concurrencia 1, su rendimiento alcanza 4,3 veces la línea base

Puntos clave

  • Z Lab,Modal y el equipo de SGLang han publicado conjuntamente el modelo de decodificación…
  • DFlash utiliza difusión por bloques e inyección de KV para generar en paralelo bloques completos…
  • en el conjunto de datos HumanEval de Qwen 3.
  • 5 397B-A17B (BF16) y con concurrencia 1,su rendimiento alcanza 4,3 veces la línea base

Resumen rápido

Publicado
Actualizado
Fuente
LMSYS Blog
Categoría
Lanzamientos de modelos
Puntuación IA
67
Leer el original Leer el artículo completo en la fuente original
Por qué importa

DFlash 用并行起草和 KV 注入实现了实测 4.3 倍吞吐,再加上 SGLang Spec V2 引擎优化,推理加速不再是纸上谈兵。做 LLM 部署和推理服务的人,可以直接用这个组合试试。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: La próxima generación de decodificación especulativa: DFlash y Spec V2. 15. junio 2026. https://new.nat6.net/es/news/cmqfhhoq001hksl2aw53w2wz8/

Ver todo →