3x acceleration sa Google TPU: Ginamit ng UCSD ang diffusion-based speculative decoding para i-optimize ang LLM inference
Orihinal na pamagat:Supercharging LLM inference on Google TPUs: Achieving 3X speedups with diffusion-style speculative decoding
AI summary
Matagumpay na nag-deploy ang research team ng University of California San Diego ng DFlash sa Google TPU, isang speculative decoding method batay sa block diffusion. Nilalampasan ng method na ito ang sequential bottleneck ng tradisyonal na autoregressive draft generation, sa pamamagitan ng sabay na pag-“draw” ng buong candidate token block sa isang forward pass, hindi isa-isa. Nakamit ng system ang average na 3.13x inference acceleration, at ang peak performance ay malapit sa dalawang beses ng existing methods tulad ng EAGLE-3. Ang open source solution na ito ay na-integrate na sa vLLM ecosystem, at malaki ang naitulong para ma-optimize ang utilization efficiency ng TPU hardware sa pamamagitan ng paggamit ng “free” parallel verification capability at high-quality draft predictions para sa komplikadong reasoning tasks.
Mahahalagang impormasyon
- Matagumpay na nag-deploy ang research team ng University of California San Diego ng DFlash sa…
- Nilalampasan ng method na ito ang sequential bottleneck ng tradisyonal na autoregressive draft…
- Nakamit ng system ang average na 3.
- 13x inference acceleration,at ang peak performance ay malapit sa dalawang beses ng existing…
- Ang open source solution na ito ay na-integrate na sa vLLM ecosystem,at malaki ang naitulong para…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Google Developers Blog(RSS)
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 66
把扩散式的 speculative decoding 在 TPU 上跑出了 3 倍推理加速,峰值快到 EAGLE-3 的两倍,还直接集成了 vLLM,做推理优化的赶紧试一下。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: 3x acceleration sa Google TPU: Ginamit ng UCSD ang diffusion-based speculative decoding para i-optimize ang LLM inference. 4 Mayo 2026. https://new.nat6.net/fil/news/cmorfwui900bbslahbt29u50b/