Artículos e investigación

DFlash: un modelo borrador de difusión por bloques logra hasta 15 veces más rendimiento

Título original:DFlash Speculative Decoding Drafts Whole Token Blocks in Parallel for Up to 15x Higher Throughput on NVIDIA Blackwell

Resumen de IA

DFlash, propuesto por el equipo de UC San Diego, es un modelo borrador ligero de difusión por bloques para decodificación especulativa. Genera un bloque completo de tokens en una sola pasada y luego el modelo objetivo los verifica en paralelo, lo que garantiza una salida sin pérdidas. Frente a EAGLE-3, DFlash logra hasta 2,5 veces de aceleración y, en modelos como Qwen3-8B, una aceleración media sin pérdidas superior a 6 veces (6,08× en MATH-500). En NVIDIA Blackwell (TensorRT-LLM), el modelo gpt-oss-120b eleva su rendimiento hasta 15 veces, aproximadamente 1,5 veces más que EAGLE-3. La innovación clave consiste en inyectar características ocultas de varias capas del modelo objetivo en la proyección Key-Value de cada capa del modelo borrador, de modo que la longitud aceptada crece con la profundidad del borrador.

Puntos clave

  • DFlash,propuesto por el equipo de UC San Diego,es un modelo borrador ligero de difusión por…
  • Genera un bloque completo de tokens en una sola pasada y luego el modelo objetivo los verifica en…
  • Frente a EAGLE-3,DFlash logra hasta 2,5 veces de aceleración y,en modelos como Qwen3-8B,una…
  • En NVIDIA Blackwell (TensorRT-LLM),el modelo gpt-oss-120b eleva su rendimiento hasta 15…
  • La innovación clave consiste en inyectar características ocultas de varias capas del modelo…

Resumen rápido

Publicado
Actualizado
Fuente
MarkTechPost(RSS)
Categoría
Artículos e investigación
Puntuación IA
74
Leer el original Leer el artículo completo en la fuente original
Por qué importa

DFlash把扩散模型引入推测解码草案阶段,一次并行生成整块token,单流加速最高6倍,NVIDIA实测吞吐量提升15倍,推理成本下降幅度很大,部署大模型的团队可以立刻关注。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: DFlash: un modelo borrador de difusión por bloques logra hasta 15 veces más rendimiento. 24. junio 2026. https://new.nat6.net/es/news/cmqrrgnay0n08slp5phvdk394/

Ver todo →