Dreifache Beschleunigung auf Google TPUs: UCSD optimiert LLM-Inferenz mit diffusionsbasierter spekulativer Dekodierung
Originaltitel:Supercharging LLM inference on Google TPUs: Achieving 3X speedups with diffusion-style speculative decoding
KI-Zusammenfassung
Ein Forschungsteam der University of California San Diego hat DFlash, eine auf Blockdiffusion basierende spekulative Dekodierungsmethode, erfolgreich auf Google TPUs eingesetzt. Die Methode überwindet den sequenziellen Engpass herkömmlicher autoregressiver Draft-Generierung, indem sie in einem einzigen Vorwärtsdurchlauf einen gesamten Kandidaten-Token-Block parallel „zeichnet“, statt Token einzeln vorherzusagen. Das System erreichte im Durchschnitt eine 3,13-fache Inferenzbeschleunigung, mit Spitzenwerten nahe dem Doppelten bestehender Methoden wie EAGLE-3. Die Open-Source-Lösung ist in das vLLM-Ökosystem integriert und optimiert die Nutzung von TPU-Hardware deutlich, indem sie die „kostenlose“ parallele Verifikationsfähigkeit und hochwertige Draft-Vorhersagen für komplexe Reasoning-Aufgaben nutzt.
Kernpunkte
- Ein Forschungsteam der University of California San Diego hat DFlash,eine auf Blockdiffusion…
- Die Methode überwindet den sequenziellen Engpass herkömmlicher autoregressiver…
- Das System erreichte im Durchschnitt eine 3,13-fache Inferenzbeschleunigung,mit Spitzenwerten nahe…
- Die Open-Source-Lösung ist in das vLLM-Ökosystem integriert und optimiert die Nutzung von…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- Google Developers Blog(RSS)
- Kategorie
- Papers & Forschung
- KI-Bewertung
- 66
把扩散式的 speculative decoding 在 TPU 上跑出了 3 倍推理加速,峰值快到 EAGLE-3 的两倍,还直接集成了 vLLM,做推理优化的赶紧试一下。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Dreifache Beschleunigung auf Google TPUs: UCSD optimiert LLM-Inferenz mit diffusionsbasierter spekulativer Dekodierung. 4. Mai 2026. https://new.nat6.net/de/news/cmorfwui900bbslahbt29u50b/