Papers & Forschung

Dreifache Beschleunigung auf Google TPUs: UCSD optimiert LLM-Inferenz mit diffusionsbasierter spekulativer Dekodierung

Originaltitel:Supercharging LLM inference on Google TPUs: Achieving 3X speedups with diffusion-style speculative decoding

KI-Zusammenfassung

Ein Forschungsteam der University of California San Diego hat DFlash, eine auf Blockdiffusion basierende spekulative Dekodierungsmethode, erfolgreich auf Google TPUs eingesetzt. Die Methode überwindet den sequenziellen Engpass herkömmlicher autoregressiver Draft-Generierung, indem sie in einem einzigen Vorwärtsdurchlauf einen gesamten Kandidaten-Token-Block parallel „zeichnet“, statt Token einzeln vorherzusagen. Das System erreichte im Durchschnitt eine 3,13-fache Inferenzbeschleunigung, mit Spitzenwerten nahe dem Doppelten bestehender Methoden wie EAGLE-3. Die Open-Source-Lösung ist in das vLLM-Ökosystem integriert und optimiert die Nutzung von TPU-Hardware deutlich, indem sie die „kostenlose“ parallele Verifikationsfähigkeit und hochwertige Draft-Vorhersagen für komplexe Reasoning-Aufgaben nutzt.

Kernpunkte

  • Ein Forschungsteam der University of California San Diego hat DFlash,eine auf Blockdiffusion…
  • Die Methode überwindet den sequenziellen Engpass herkömmlicher autoregressiver…
  • Das System erreichte im Durchschnitt eine 3,13-fache Inferenzbeschleunigung,mit Spitzenwerten nahe…
  • Die Open-Source-Lösung ist in das vLLM-Ökosystem integriert und optimiert die Nutzung von…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Google Developers Blog(RSS)
Kategorie
Papers & Forschung
KI-Bewertung
66
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

把扩散式的 speculative decoding 在 TPU 上跑出了 3 倍推理加速,峰值快到 EAGLE-3 的两倍,还直接集成了 vLLM,做推理优化的赶紧试一下。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Dreifache Beschleunigung auf Google TPUs: UCSD optimiert LLM-Inferenz mit diffusionsbasierter spekulativer Dekodierung. 4. Mai 2026. https://new.nat6.net/de/news/cmorfwui900bbslahbt29u50b/

Alle ansehen →