Pecutan 3 kali ganda pada Google TPU: UCSD menggunakan penyahkodan spekulatif difusi untuk mengoptimumkan penaakulan LLM
Tajuk asal:Supercharging LLM inference on Google TPUs: Achieving 3X speedups with diffusion-style speculative decoding
Ringkasan AI
Pasukan penyelidik Universiti California San Diego berjaya menggunakan DFlash, kaedah penyahkodan spekulatif berasaskan difusi blok, pada Google TPU. Kaedah ini menembusi bottleneck jujukan penjanaan draf autoregresif tradisional, melalui satu penyebaran ke hadapan secara selari 'melukis' keseluruhan blok token calon, bukan meramal satu demi satu. Sistem mencapai purata pecutan penaakulan 3.13 kali ganda, prestasi puncak hampir dua kali ganda kaedah sedia ada seperti EAGLE-3. Penyelesaian sumber terbuka ini telah diintegrasikan ke dalam ekosistem vLLM, melalui penggunaan keupayaan pengesahan selari 'percuma' dan ramalan draf berkualiti tinggi untuk tugasan penaakulan kompleks, mengoptimumkan kecekapan penggunaan perkakasan TPU dengan ketara.
Maklumat penting
- Pasukan penyelidik Universiti California San Diego berjaya menggunakan DFlash,kaedah penyahkodan…
- Kaedah ini menembusi bottleneck jujukan penjanaan draf autoregresif tradisional,melalui satu…
- Sistem mencapai purata pecutan penaakulan 3.
- 13 kali ganda,prestasi puncak hampir dua kali ganda kaedah sedia ada seperti EAGLE-3.
- Penyelesaian sumber terbuka ini telah diintegrasikan ke dalam ekosistem vLLM,melalui penggunaan…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- Google Developers Blog(RSS)
- Kategori
- Kertas penyelidikan
- Skor AI
- 66
把扩散式的 speculative decoding 在 TPU 上跑出了 3 倍推理加速,峰值快到 EAGLE-3 的两倍,还直接集成了 vLLM,做推理优化的赶紧试一下。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Pecutan 3 kali ganda pada Google TPU: UCSD menggunakan penyahkodan spekulatif difusi untuk mengoptimumkan penaakulan LLM. 4 Mei 2026. https://new.nat6.net/ms/news/cmorfwui900bbslahbt29u50b/