SGLang integra la decodificación especulativa DSpark: verificación de longitud variable guiada por confianza
Título original:Blog DSpark in SGLang: Speculative Decoding with Confidence-Driven, Variable-Length Verification Speculative decoding trades extra compute for fewer decode steps, and the trade sours as load grows: at batch size B with K speculative tokens the target verifies B K tokens every step, and past a po... SGLang Team
Resumen de IA
El equipo de SGLang integró el algoritmo de decodificación especulativa DSpark en su motor de inferencia de código abierto. El algoritmo emplea un borrador de bloques semiautorregresivo que genera un conjunto de tokens a la vez y utiliza una cabeza de confianza y escalado de temperatura secuencial (STS) para asignar dinámicamente a cada solicitud una longitud de verificación variable, recortando así el coste de verificaciones inútiles bajo alta carga. SGLang admite modelos densos (como Qwen3) y dispersos (como DeepSeek-V4), y gestiona mediante gráficos CUDA completos las longitudes de verificación irregulares por solicitud. Ofrece tres modos de verificación: `static` (longitud completa), `compact` (ruta de producción) y `cap-accept` (medición del límite de aceptación). También incorpora planificación sin sobrecarga, un planificador en línea basado en tablas de costes offline y kernels Triton fusionados. En pruebas con DeepSeek-V4-Flash en H200, DSpark logró una mejor relación rendimiento-latencia que MTP y las líneas base no especulativas en todo el rango de concurrencia.
Puntos clave
- El equipo de SGLang integró el algoritmo de decodificación especulativa DSpark en su motor de…
- El algoritmo emplea un borrador de bloques semiautorregresivo que genera un conjunto de tokens a…
- SGLang admite modelos densos (como Qwen3) y dispersos (como DeepSeek-V4),y gestiona mediante…
- Ofrece tres modos de verificación: `static` (longitud completa),`compact` (ruta de producción) y…
- También incorpora planificación sin sobrecarga,un planificador en línea basado en tablas de costes…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- LMSYS Blog
- Categoría
- Productos y aplicaciones
- Puntuación IA
- 63
DSpark 这版推测解码的工程落地比论文本身更有看头——SGLang 用 ragged CUDA Graph 和动态调度把 trimm 掉的计算按字节级回收,383 tok/s 的单请求速度对部署方是即时可用的性能增益。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: SGLang integra la decodificación especulativa DSpark: verificación de longitud variable guiada por confianza. 6. julio 2026. https://new.nat6.net/es/news/cmr9h98co0470slsmqqc2ilv1/