DFlash: un modelo borrador de difusión por bloques logra hasta 15 veces más rendimiento
Título original:DFlash Speculative Decoding Drafts Whole Token Blocks in Parallel for Up to 15x Higher Throughput on NVIDIA Blackwell
Resumen de IA
DFlash, propuesto por el equipo de UC San Diego, es un modelo borrador ligero de difusión por bloques para decodificación especulativa. Genera un bloque completo de tokens en una sola pasada y luego el modelo objetivo los verifica en paralelo, lo que garantiza una salida sin pérdidas. Frente a EAGLE-3, DFlash logra hasta 2,5 veces de aceleración y, en modelos como Qwen3-8B, una aceleración media sin pérdidas superior a 6 veces (6,08× en MATH-500). En NVIDIA Blackwell (TensorRT-LLM), el modelo gpt-oss-120b eleva su rendimiento hasta 15 veces, aproximadamente 1,5 veces más que EAGLE-3. La innovación clave consiste en inyectar características ocultas de varias capas del modelo objetivo en la proyección Key-Value de cada capa del modelo borrador, de modo que la longitud aceptada crece con la profundidad del borrador.
Puntos clave
- DFlash,propuesto por el equipo de UC San Diego,es un modelo borrador ligero de difusión por…
- Genera un bloque completo de tokens en una sola pasada y luego el modelo objetivo los verifica en…
- Frente a EAGLE-3,DFlash logra hasta 2,5 veces de aceleración y,en modelos como Qwen3-8B,una…
- En NVIDIA Blackwell (TensorRT-LLM),el modelo gpt-oss-120b eleva su rendimiento hasta 15…
- La innovación clave consiste en inyectar características ocultas de varias capas del modelo…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- MarkTechPost(RSS)
- Categoría
- Artículos e investigación
- Puntuación IA
- 74
DFlash把扩散模型引入推测解码草案阶段,一次并行生成整块token,单流加速最高6倍,NVIDIA实测吞吐量提升15倍,推理成本下降幅度很大,部署大模型的团队可以立刻关注。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: DFlash: un modelo borrador de difusión por bloques logra hasta 15 veces más rendimiento. 24. junio 2026. https://new.nat6.net/es/news/cmqrrgnay0n08slp5phvdk394/