Triple accélération sur les TPU de Google : l'UCSD optimise l'inférence LLM avec le décodage spéculatif par diffusion
Titre original:Supercharging LLM inference on Google TPUs: Achieving 3X speedups with diffusion-style speculative decoding
Résumé IA
Une équipe de recherche de l'Université de Californie à San Diego a déployé avec succès sur les TPU de Google DFlash, une méthode de décodage spéculatif basée sur la diffusion par blocs. Cette méthode surmonte le goulot d'étranglement séquentiel de la génération de brouillons autorégressive traditionnelle, en « dessinant » en parallèle un bloc entier de tokens candidats en une seule passe avant, plutôt qu'en les prédisant un par un. Le système atteint une accélération moyenne de l'inférence de 3,13 fois, avec des performances de pointe proches du double de méthodes existantes comme EAGLE-3. Cette solution open source est intégrée à l'écosystème vLLM ; elle optimise significativement l'efficacité d'utilisation du matériel TPU en exploitant la capacité de vérification parallèle « gratuite » et des prédictions de brouillons de haute qualité pour les tâches de raisonnement complexes.
Points clés
- Une équipe de recherche de l'Université de Californie à San Diego a déployé avec succès sur les…
- Cette méthode surmonte le goulot d'étranglement séquentiel de la génération de brouillons…
- Le système atteint une accélération moyenne de l'inférence de 3,13 fois,avec des performances de…
- Cette solution open source est intégrée à l'écosystème vLLM
- elle optimise significativement l'efficacité d'utilisation du matériel TPU en exploitant la…
En bref
- Publié
- Mis à jour
- Source
- Google Developers Blog(RSS)
- Catégorie
- Articles et recherche
- Score IA
- 66
把扩散式的 speculative decoding 在 TPU 上跑出了 3 倍推理加速,峰值快到 EAGLE-3 的两倍,还直接集成了 vLLM,做推理优化的赶紧试一下。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Triple accélération sur les TPU de Google : l'UCSD optimise l'inférence LLM avec le décodage spéculatif par diffusion. 4. mai 2026. https://new.nat6.net/fr/news/cmorfwui900bbslahbt29u50b/