Mga produkto at aplikasyon

vLLM transformers modeling backend sa native na bilis

Orihinal na pamagat:Native-speed vLLM transformers modeling backend

AI summary

Inanunsyo ng Hugging Face na ang transformers vLLM backend ay kasingbilis o mas mabilis pa kaysa sa mano-manong native vLLM implementation. Hindi na kailangang i-port ng mga model author ang code para awtomatikong makinabang sa napakabilis na inference ng transformers. Ginamit sa pagsubok ang tatlong configuration: Qwen3-4B (single GPU), Qwen3-32B (tensor parallel), at Qwen3-235B-A22B-FP8 MoE (data + expert parallel), at lahat ay umabot o lumampas sa native na throughput. Ang backend ay gumagamit ng torch.fx static analysis graph at AST code rewriting para sa dynamic layer fusion, at sumusuporta sa tensor/pipeline/expert parallelism at torch.compile. Kailangan lang idagdag ng user ang `--model-impl transformers` flag. Kasalukuyang hindi sinusuportahan ang linear attention models ngunit malapit nang suportahan.

Mahahalagang impormasyon

  • Inanunsyo ng Hugging Face na ang transformers vLLM backend ay kasingbilis o mas mabilis pa kaysa…
  • Hindi na kailangang i-port ng mga model author ang code para awtomatikong makinabang sa…
  • Ginamit sa pagsubok ang tatlong configuration: Qwen3-4B (single GPU),Qwen3-32B (tensor…
  • Ang backend ay gumagamit ng torch.
  • fx static analysis graph at AST code rewriting para sa dynamic layer fusion,at sumusuporta sa…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Hugging Face 社区博客(混合发现)
Kategorya
Mga produkto at aplikasyon
AI na marka
66
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

用 transformers 写的模型,现在不用改一行代码就能在 vLLM 里跑到手写实现的水平,模型作者最大的集成痛被抹平了。虽然主要是工程黑魔法,但生态意义不小。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: vLLM transformers modeling backend sa native na bilis. 8 Hulyo 2026. https://new.nat6.net/fil/news/cmrcabmvj00ymihqce96ilbfi/

Tingnan lahat →