Продукты и приложения

Бэкенд transformers для vLLM на нативной скорости

Оригинальный заголовок:Native-speed vLLM transformers modeling backend

ИИ-резюме

Hugging Face объявила, что бэкенд transformers для vLLM теперь по скорости сопоставим с ручной нативной реализацией vLLM или превосходит её. Авторам моделей не нужно переносить код — они автоматически получают сверхбыстрый инференс благодаря transformers. Тестирование проводилось на трёх конфигурациях: Qwen3-4B (один GPU), Qwen3-32B (тензорный параллелизм) и Qwen3-235B-A22B-FP8 MoE (параллелизм данных и экспертов); пропускная способность во всех случаях достигла нативного уровня или превысила его. Бэкенд статически анализирует граф через torch.fx, переписывает код через AST для динамического слияния слоёв и поддерживает тензорный, конвейерный и экспертный параллелизм, а также torch.compile. Пользователям достаточно добавить флаг `--model-impl transformers`. Сейчас модели с линейным вниманием не поддерживаются, но поддержка скоро появится.

Ключевые моменты

  • Hugging Face объявила,что бэкенд transformers для vLLM теперь по скорости сопоставим с ручной…
  • Авторам моделей не нужно переносить код — они автоматически получают сверхбыстрый инференс…
  • Тестирование проводилось на трёх конфигурациях: Qwen3-4B (один GPU),Qwen3-32B (тензорный…
  • пропускная способность во всех случаях достигла нативного уровня или превысила его.
  • Бэкенд статически анализирует граф через torch.

Кратко

Опубликовано
Обновлено
Источник
Hugging Face 社区博客(混合发现)
Категория
Продукты и приложения
Оценка ИИ
66
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

用 transformers 写的模型,现在不用改一行代码就能在 vLLM 里跑到手写实现的水平,模型作者最大的集成痛被抹平了。虽然主要是工程黑魔法,但生态意义不小。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Бэкенд transformers для vLLM на нативной скорости. 8 июля 2026. https://new.nat6.net/ru/news/cmrcabmvj00ymihqce96ilbfi/

Смотреть все →