Percepatan 3 kali lipat di Google TPU: UCSD mengoptimalkan inferensi LLM dengan decoding spekulatif difusi
Judul asli:Supercharging LLM inference on Google TPUs: Achieving 3X speedups with diffusion-style speculative decoding
Ringkasan AI
Tim peneliti dari University of California San Diego berhasil menerapkan DFlash, metode decoding spekulatif berbasis difusi blok, di Google TPU. Metode ini mengatasi hambatan sekuensial pembuatan draf autoregresif tradisional dengan "menggambar" seluruh blok token kandidat secara paralel melalui satu kali propagasi maju, bukan memprediksi satu per satu. Sistem mencapai percepatan inferensi rata-rata 3,13 kali lipat, dengan kinerja puncak mendekati dua kali lipat metode yang ada seperti EAGLE-3. Solusi sumber terbuka ini telah terintegrasi ke dalam ekosistem vLLM, dan secara signifikan mengoptimalkan efisiensi pemanfaatan perangkat keras TPU melalui pemanfaatan kemampuan verifikasi paralel yang "gratis" dan prediksi draf berkualitas tinggi untuk tugas penalaran kompleks.
Poin utama
- Tim peneliti dari University of California San Diego berhasil menerapkan DFlash,metode decoding…
- Metode ini mengatasi hambatan sekuensial pembuatan draf autoregresif tradisional dengan…
- Sistem mencapai percepatan inferensi rata-rata 3,13 kali lipat,dengan kinerja puncak mendekati dua…
- Solusi sumber terbuka ini telah terintegrasi ke dalam ekosistem vLLM,dan secara signifikan…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- Google Developers Blog(RSS)
- Kategori
- Makalah & Riset
- Skor AI
- 66
把扩散式的 speculative decoding 在 TPU 上跑出了 3 倍推理加速,峰值快到 EAGLE-3 的两倍,还直接集成了 vLLM,做推理优化的赶紧试一下。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Percepatan 3 kali lipat di Google TPU: UCSD mengoptimalkan inferensi LLM dengan decoding spekulatif difusi. 4 Mei 2026. https://new.nat6.net/id/news/cmorfwui900bbslahbt29u50b/