Artículos e investigación

Triple aceleración en TPU de Google: UCSD optimiza la inferencia de LLM con decodificación especulativa por difusión

Título original:Supercharging LLM inference on Google TPUs: Achieving 3X speedups with diffusion-style speculative decoding

Resumen de IA

Un equipo de investigación de la Universidad de California en San Diego desplegó con éxito DFlash, un método de decodificación especulativa basado en difusión por bloques, en TPU de Google. El método supera el cuello de botella secuencial de la generación tradicional de borradores autorregresivos al «dibujar» en paralelo todo un bloque de tokens candidatos mediante una única propagación hacia adelante, en lugar de predecirlos uno a uno. El sistema logró una aceleración media de la inferencia de 3.13 veces, con un rendimiento máximo cercano al doble del de métodos existentes como EAGLE-3. Esta solución de código abierto se ha integrado en el ecosistema vLLM y optimiza notablemente la eficiencia de utilización del hardware TPU al aprovechar la capacidad de verificación paralela «gratuita» y las predicciones de borradores de alta calidad para tareas de razonamiento complejas.

Puntos clave

  • Un equipo de investigación de la Universidad de California en San Diego desplegó con éxito…
  • El método supera el cuello de botella secuencial de la generación tradicional de borradores…
  • El sistema logró una aceleración media de la inferencia de 3.
  • 13 veces,con un rendimiento máximo cercano al doble del de métodos existentes como EAGLE-3.
  • Esta solución de código abierto se ha integrado en el ecosistema vLLM y optimiza notablemente la…

Resumen rápido

Publicado
Actualizado
Fuente
Google Developers Blog(RSS)
Categoría
Artículos e investigación
Puntuación IA
66
Leer el original Leer el artículo completo en la fuente original
Por qué importa

把扩散式的 speculative decoding 在 TPU 上跑出了 3 倍推理加速,峰值快到 EAGLE-3 的两倍,还直接集成了 vLLM,做推理优化的赶紧试一下。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Triple aceleración en TPU de Google: UCSD optimiza la inferencia de LLM con decodificación especulativa por difusión. 4. mayo 2026. https://new.nat6.net/es/news/cmorfwui900bbslahbt29u50b/

Ver todo →