Productos y aplicaciones

Backend de modelado transformers de vLLM a velocidad nativa

Título original:Native-speed vLLM transformers modeling backend

Resumen de IA

Hugging Face anuncia que el backend transformers de vLLM ahora iguala o supera en velocidad a la implementación nativa de vLLM escrita a mano. Los autores de modelos pueden aprovechar automáticamente transformers para obtener inferencia ultrarrápida sin necesidad de portar código. Las pruebas usaron tres configuraciones: Qwen3-4B (una GPU), Qwen3-32B (paralelismo tensorial) y Qwen3-235B-A22B-FP8 MoE (paralelismo de datos y expertos), y el rendimiento alcanzó o superó al nativo en todas. El backend analiza estáticamente el grafo mediante torch.fx y reescribe el código con AST para lograr fusión dinámica de capas, con soporte para paralelismo tensorial, de pipeline y de expertos, así como torch.compile. Los usuarios solo necesitan añadir el flag `--model-impl transformers`. Actualmente no admite modelos de atención lineal, pero lo hará pronto.

Puntos clave

  • Hugging Face anuncia que el backend transformers de vLLM ahora iguala o supera en velocidad a la…
  • Los autores de modelos pueden aprovechar automáticamente transformers para obtener inferencia…
  • Las pruebas usaron tres configuraciones: Qwen3-4B (una GPU),Qwen3-32B (paralelismo tensorial) y…
  • El backend analiza estáticamente el grafo mediante torch.
  • fx y reescribe el código con AST para lograr fusión dinámica de capas,con soporte para paralelismo…

Resumen rápido

Publicado
Actualizado
Fuente
Hugging Face 社区博客(混合发现)
Categoría
Productos y aplicaciones
Puntuación IA
66
Leer el original Leer el artículo completo en la fuente original
Por qué importa

用 transformers 写的模型,现在不用改一行代码就能在 vLLM 里跑到手写实现的水平,模型作者最大的集成痛被抹平了。虽然主要是工程黑魔法,但生态意义不小。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: Backend de modelado transformers de vLLM a velocidad nativa. 8. julio 2026. https://new.nat6.net/es/news/cmrcabmvj00ymihqce96ilbfi/

Ver todo →