Makalah & Riset

Percepatan 3 kali lipat di Google TPU: UCSD mengoptimalkan inferensi LLM dengan decoding spekulatif difusi

Judul asli:Supercharging LLM inference on Google TPUs: Achieving 3X speedups with diffusion-style speculative decoding

Ringkasan AI

Tim peneliti dari University of California San Diego berhasil menerapkan DFlash, metode decoding spekulatif berbasis difusi blok, di Google TPU. Metode ini mengatasi hambatan sekuensial pembuatan draf autoregresif tradisional dengan "menggambar" seluruh blok token kandidat secara paralel melalui satu kali propagasi maju, bukan memprediksi satu per satu. Sistem mencapai percepatan inferensi rata-rata 3,13 kali lipat, dengan kinerja puncak mendekati dua kali lipat metode yang ada seperti EAGLE-3. Solusi sumber terbuka ini telah terintegrasi ke dalam ekosistem vLLM, dan secara signifikan mengoptimalkan efisiensi pemanfaatan perangkat keras TPU melalui pemanfaatan kemampuan verifikasi paralel yang "gratis" dan prediksi draf berkualitas tinggi untuk tugas penalaran kompleks.

Poin utama

  • Tim peneliti dari University of California San Diego berhasil menerapkan DFlash,metode decoding…
  • Metode ini mengatasi hambatan sekuensial pembuatan draf autoregresif tradisional dengan…
  • Sistem mencapai percepatan inferensi rata-rata 3,13 kali lipat,dengan kinerja puncak mendekati dua…
  • Solusi sumber terbuka ini telah terintegrasi ke dalam ekosistem vLLM,dan secara signifikan…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Google Developers Blog(RSS)
Kategori
Makalah & Riset
Skor AI
66
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

把扩散式的 speculative decoding 在 TPU 上跑出了 3 倍推理加速,峰值快到 EAGLE-3 的两倍,还直接集成了 vLLM,做推理优化的赶紧试一下。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Percepatan 3 kali lipat di Google TPU: UCSD mengoptimalkan inferensi LLM dengan decoding spekulatif difusi. 4 Mei 2026. https://new.nat6.net/id/news/cmorfwui900bbslahbt29u50b/

Lihat semua →