Статьи и исследования

Трёхкратное ускорение на TPU Google: UCSD оптимизирует вывод LLM с помощью диффузионного спекулятивного декодирования

Оригинальный заголовок:Supercharging LLM inference on Google TPUs: Achieving 3X speedups with diffusion-style speculative decoding

ИИ-резюме

Исследовательская группа Калифорнийского университета в Сан-Диего успешно развернула на TPU Google DFlash — метод спекулятивного декодирования на основе блочной диффузии. Метод преодолевает последовательное узкое место традиционной авторегрессионной генерации черновиков, параллельно «рисуя» целый блок кандидатных токенов за один прямой проход вместо поочерёдного предсказания. Система в среднем обеспечила ускорение вывода в 3,13 раза, а пиковая производительность почти вдвое превысила существующие методы, такие как EAGLE-3. Это открытое решение интегрировано в экосистему vLLM и значительно оптимизирует эффективность использования аппаратного обеспечения TPU за счёт «бесплатных» возможностей параллельной проверки и высококачественного предсказания черновиков для сложных задач рассуждения.

Ключевые моменты

  • Исследовательская группа Калифорнийского университета в Сан-Диего успешно развернула на TPU Google…
  • Метод преодолевает последовательное узкое место традиционной авторегрессионной генерации…
  • Система в среднем обеспечила ускорение вывода в 3,13 раза,а пиковая производительность почти вдвое…
  • Это открытое решение интегрировано в экосистему vLLM и значительно оптимизирует эффективность…

Кратко

Опубликовано
Обновлено
Источник
Google Developers Blog(RSS)
Категория
Статьи и исследования
Оценка ИИ
66
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

把扩散式的 speculative decoding 在 TPU 上跑出了 3 倍推理加速,峰值快到 EAGLE-3 的两倍,还直接集成了 vLLM,做推理优化的赶紧试一下。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Трёхкратное ускорение на TPU Google: UCSD оптимизирует вывод LLM с помощью диффузионного спекулятивного декодирования. 4 мая 2026. https://new.nat6.net/ru/news/cmorfwui900bbslahbt29u50b/

Смотреть все →