Трёхкратное ускорение на TPU Google: UCSD оптимизирует вывод LLM с помощью диффузионного спекулятивного декодирования
Оригинальный заголовок:Supercharging LLM inference on Google TPUs: Achieving 3X speedups with diffusion-style speculative decoding
ИИ-резюме
Исследовательская группа Калифорнийского университета в Сан-Диего успешно развернула на TPU Google DFlash — метод спекулятивного декодирования на основе блочной диффузии. Метод преодолевает последовательное узкое место традиционной авторегрессионной генерации черновиков, параллельно «рисуя» целый блок кандидатных токенов за один прямой проход вместо поочерёдного предсказания. Система в среднем обеспечила ускорение вывода в 3,13 раза, а пиковая производительность почти вдвое превысила существующие методы, такие как EAGLE-3. Это открытое решение интегрировано в экосистему vLLM и значительно оптимизирует эффективность использования аппаратного обеспечения TPU за счёт «бесплатных» возможностей параллельной проверки и высококачественного предсказания черновиков для сложных задач рассуждения.
Ключевые моменты
- Исследовательская группа Калифорнийского университета в Сан-Диего успешно развернула на TPU Google…
- Метод преодолевает последовательное узкое место традиционной авторегрессионной генерации…
- Система в среднем обеспечила ускорение вывода в 3,13 раза,а пиковая производительность почти вдвое…
- Это открытое решение интегрировано в экосистему vLLM и значительно оптимизирует эффективность…
Кратко
- Опубликовано
- Обновлено
- Источник
- Google Developers Blog(RSS)
- Категория
- Статьи и исследования
- Оценка ИИ
- 66
把扩散式的 speculative decoding 在 TPU 上跑出了 3 倍推理加速,峰值快到 EAGLE-3 的两倍,还直接集成了 vLLM,做推理优化的赶紧试一下。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Трёхкратное ускорение на TPU Google: UCSD оптимизирует вывод LLM с помощью диффузионного спекулятивного декодирования. 4 мая 2026. https://new.nat6.net/ru/news/cmorfwui900bbslahbt29u50b/