Kertas penyelidikan

Pecutan 3 kali ganda pada Google TPU: UCSD menggunakan penyahkodan spekulatif difusi untuk mengoptimumkan penaakulan LLM

Tajuk asal:Supercharging LLM inference on Google TPUs: Achieving 3X speedups with diffusion-style speculative decoding

Ringkasan AI

Pasukan penyelidik Universiti California San Diego berjaya menggunakan DFlash, kaedah penyahkodan spekulatif berasaskan difusi blok, pada Google TPU. Kaedah ini menembusi bottleneck jujukan penjanaan draf autoregresif tradisional, melalui satu penyebaran ke hadapan secara selari 'melukis' keseluruhan blok token calon, bukan meramal satu demi satu. Sistem mencapai purata pecutan penaakulan 3.13 kali ganda, prestasi puncak hampir dua kali ganda kaedah sedia ada seperti EAGLE-3. Penyelesaian sumber terbuka ini telah diintegrasikan ke dalam ekosistem vLLM, melalui penggunaan keupayaan pengesahan selari 'percuma' dan ramalan draf berkualiti tinggi untuk tugasan penaakulan kompleks, mengoptimumkan kecekapan penggunaan perkakasan TPU dengan ketara.

Maklumat penting

  • Pasukan penyelidik Universiti California San Diego berjaya menggunakan DFlash,kaedah penyahkodan…
  • Kaedah ini menembusi bottleneck jujukan penjanaan draf autoregresif tradisional,melalui satu…
  • Sistem mencapai purata pecutan penaakulan 3.
  • 13 kali ganda,prestasi puncak hampir dua kali ganda kaedah sedia ada seperti EAGLE-3.
  • Penyelesaian sumber terbuka ini telah diintegrasikan ke dalam ekosistem vLLM,melalui penggunaan…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Google Developers Blog(RSS)
Kategori
Kertas penyelidikan
Skor AI
66
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

把扩散式的 speculative decoding 在 TPU 上跑出了 3 倍推理加速,峰值快到 EAGLE-3 的两倍,还直接集成了 vLLM,做推理优化的赶紧试一下。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Pecutan 3 kali ganda pada Google TPU: UCSD menggunakan penyahkodan spekulatif difusi untuk mengoptimumkan penaakulan LLM. 4 Mei 2026. https://new.nat6.net/ms/news/cmorfwui900bbslahbt29u50b/

Lihat Semua →