Backend de modelado transformers de vLLM a velocidad nativa
Título original:Native-speed vLLM transformers modeling backend
Resumen de IA
Hugging Face anuncia que el backend transformers de vLLM ahora iguala o supera en velocidad a la implementación nativa de vLLM escrita a mano. Los autores de modelos pueden aprovechar automáticamente transformers para obtener inferencia ultrarrápida sin necesidad de portar código. Las pruebas usaron tres configuraciones: Qwen3-4B (una GPU), Qwen3-32B (paralelismo tensorial) y Qwen3-235B-A22B-FP8 MoE (paralelismo de datos y expertos), y el rendimiento alcanzó o superó al nativo en todas. El backend analiza estáticamente el grafo mediante torch.fx y reescribe el código con AST para lograr fusión dinámica de capas, con soporte para paralelismo tensorial, de pipeline y de expertos, así como torch.compile. Los usuarios solo necesitan añadir el flag `--model-impl transformers`. Actualmente no admite modelos de atención lineal, pero lo hará pronto.
Puntos clave
- Hugging Face anuncia que el backend transformers de vLLM ahora iguala o supera en velocidad a la…
- Los autores de modelos pueden aprovechar automáticamente transformers para obtener inferencia…
- Las pruebas usaron tres configuraciones: Qwen3-4B (una GPU),Qwen3-32B (paralelismo tensorial) y…
- El backend analiza estáticamente el grafo mediante torch.
- fx y reescribe el código con AST para lograr fusión dinámica de capas,con soporte para paralelismo…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- Hugging Face 社区博客(混合发现)
- Categoría
- Productos y aplicaciones
- Puntuación IA
- 66
用 transformers 写的模型,现在不用改一行代码就能在 vLLM 里跑到手写实现的水平,模型作者最大的集成痛被抹平了。虽然主要是工程黑魔法,但生态意义不小。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Backend de modelado transformers de vLLM a velocidad nativa. 8. julio 2026. https://new.nat6.net/es/news/cmrcabmvj00ymihqce96ilbfi/