Бэкенд transformers для vLLM на нативной скорости
Оригинальный заголовок:Native-speed vLLM transformers modeling backend
ИИ-резюме
Hugging Face объявила, что бэкенд transformers для vLLM теперь по скорости сопоставим с ручной нативной реализацией vLLM или превосходит её. Авторам моделей не нужно переносить код — они автоматически получают сверхбыстрый инференс благодаря transformers. Тестирование проводилось на трёх конфигурациях: Qwen3-4B (один GPU), Qwen3-32B (тензорный параллелизм) и Qwen3-235B-A22B-FP8 MoE (параллелизм данных и экспертов); пропускная способность во всех случаях достигла нативного уровня или превысила его. Бэкенд статически анализирует граф через torch.fx, переписывает код через AST для динамического слияния слоёв и поддерживает тензорный, конвейерный и экспертный параллелизм, а также torch.compile. Пользователям достаточно добавить флаг `--model-impl transformers`. Сейчас модели с линейным вниманием не поддерживаются, но поддержка скоро появится.
Ключевые моменты
- Hugging Face объявила,что бэкенд transformers для vLLM теперь по скорости сопоставим с ручной…
- Авторам моделей не нужно переносить код — они автоматически получают сверхбыстрый инференс…
- Тестирование проводилось на трёх конфигурациях: Qwen3-4B (один GPU),Qwen3-32B (тензорный…
- пропускная способность во всех случаях достигла нативного уровня или превысила его.
- Бэкенд статически анализирует граф через torch.
Кратко
- Опубликовано
- Обновлено
- Источник
- Hugging Face 社区博客(混合发现)
- Категория
- Продукты и приложения
- Оценка ИИ
- 66
用 transformers 写的模型,现在不用改一行代码就能在 vLLM 里跑到手写实现的水平,模型作者最大的集成痛被抹平了。虽然主要是工程黑魔法,但生态意义不小。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Бэкенд transformers для vLLM на нативной скорости. 8 июля 2026. https://new.nat6.net/ru/news/cmrcabmvj00ymihqce96ilbfi/