vLLM transformers modeling backend sa native na bilis
Orihinal na pamagat:Native-speed vLLM transformers modeling backend
AI summary
Inanunsyo ng Hugging Face na ang transformers vLLM backend ay kasingbilis o mas mabilis pa kaysa sa mano-manong native vLLM implementation. Hindi na kailangang i-port ng mga model author ang code para awtomatikong makinabang sa napakabilis na inference ng transformers. Ginamit sa pagsubok ang tatlong configuration: Qwen3-4B (single GPU), Qwen3-32B (tensor parallel), at Qwen3-235B-A22B-FP8 MoE (data + expert parallel), at lahat ay umabot o lumampas sa native na throughput. Ang backend ay gumagamit ng torch.fx static analysis graph at AST code rewriting para sa dynamic layer fusion, at sumusuporta sa tensor/pipeline/expert parallelism at torch.compile. Kailangan lang idagdag ng user ang `--model-impl transformers` flag. Kasalukuyang hindi sinusuportahan ang linear attention models ngunit malapit nang suportahan.
Mahahalagang impormasyon
- Inanunsyo ng Hugging Face na ang transformers vLLM backend ay kasingbilis o mas mabilis pa kaysa…
- Hindi na kailangang i-port ng mga model author ang code para awtomatikong makinabang sa…
- Ginamit sa pagsubok ang tatlong configuration: Qwen3-4B (single GPU),Qwen3-32B (tensor…
- Ang backend ay gumagamit ng torch.
- fx static analysis graph at AST code rewriting para sa dynamic layer fusion,at sumusuporta sa…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Hugging Face 社区博客(混合发现)
- Kategorya
- Mga produkto at aplikasyon
- AI na marka
- 66
用 transformers 写的模型,现在不用改一行代码就能在 vLLM 里跑到手写实现的水平,模型作者最大的集成痛被抹平了。虽然主要是工程黑魔法,但生态意义不小。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: vLLM transformers modeling backend sa native na bilis. 8 Hulyo 2026. https://new.nat6.net/fil/news/cmrcabmvj00ymihqce96ilbfi/