Triple aceleración en TPU de Google: UCSD optimiza la inferencia de LLM con decodificación especulativa por difusión
Título original:Supercharging LLM inference on Google TPUs: Achieving 3X speedups with diffusion-style speculative decoding
Resumen de IA
Un equipo de investigación de la Universidad de California en San Diego desplegó con éxito DFlash, un método de decodificación especulativa basado en difusión por bloques, en TPU de Google. El método supera el cuello de botella secuencial de la generación tradicional de borradores autorregresivos al «dibujar» en paralelo todo un bloque de tokens candidatos mediante una única propagación hacia adelante, en lugar de predecirlos uno a uno. El sistema logró una aceleración media de la inferencia de 3.13 veces, con un rendimiento máximo cercano al doble del de métodos existentes como EAGLE-3. Esta solución de código abierto se ha integrado en el ecosistema vLLM y optimiza notablemente la eficiencia de utilización del hardware TPU al aprovechar la capacidad de verificación paralela «gratuita» y las predicciones de borradores de alta calidad para tareas de razonamiento complejas.
Puntos clave
- Un equipo de investigación de la Universidad de California en San Diego desplegó con éxito…
- El método supera el cuello de botella secuencial de la generación tradicional de borradores…
- El sistema logró una aceleración media de la inferencia de 3.
- 13 veces,con un rendimiento máximo cercano al doble del de métodos existentes como EAGLE-3.
- Esta solución de código abierto se ha integrado en el ecosistema vLLM y optimiza notablemente la…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- Google Developers Blog(RSS)
- Categoría
- Artículos e investigación
- Puntuación IA
- 66
把扩散式的 speculative decoding 在 TPU 上跑出了 3 倍推理加速,峰值快到 EAGLE-3 的两倍,还直接集成了 vLLM,做推理优化的赶紧试一下。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Triple aceleración en TPU de Google: UCSD optimiza la inferencia de LLM con decodificación especulativa por difusión. 4. mayo 2026. https://new.nat6.net/es/news/cmorfwui900bbslahbt29u50b/