Backend pemodelan vLLM transformers dengan kecepatan native
Judul asli:Native-speed vLLM transformers modeling backend
Ringkasan AI
Hugging Face mengumumkan backend vLLM transformers kini setara atau bahkan lebih cepat daripada implementasi vLLM native yang ditulis tangan. Penulis model dapat memanfaatkan transformers secara otomatis untuk inferensi super cepat tanpa perlu memindahkan kode. Pengujian menggunakan tiga konfigurasi: Qwen3-4B (GPU tunggal), Qwen3-32B (tensor paralel), dan Qwen3-235B-A22B-FP8 MoE (paralel data+expert), dengan throughput mencapai atau melampaui native. Backend ini menganalisis graf secara statis melalui torch.fx, menulis ulang kode AST untuk mewujudkan fusi lapisan dinamis, serta mendukung paralel tensor/pipeline/expert dan torch.compile. Pengguna hanya perlu menambahkan flag `--model-impl transformers`. Saat ini belum mendukung model linear attention, tetapi akan segera hadir.
Poin utama
- Hugging Face mengumumkan backend vLLM transformers kini setara atau bahkan lebih cepat daripada…
- Penulis model dapat memanfaatkan transformers secara otomatis untuk inferensi super cepat tanpa…
- Pengujian menggunakan tiga konfigurasi: Qwen3-4B (GPU tunggal),Qwen3-32B (tensor paralel),dan…
- Backend ini menganalisis graf secara statis melalui torch.
- fx,menulis ulang kode AST untuk mewujudkan fusi lapisan dinamis,serta mendukung paralel…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- Hugging Face 社区博客(混合发现)
- Kategori
- Produk & Aplikasi
- Skor AI
- 66
用 transformers 写的模型,现在不用改一行代码就能在 vLLM 里跑到手写实现的水平,模型作者最大的集成痛被抹平了。虽然主要是工程黑魔法,但生态意义不小。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Backend pemodelan vLLM transformers dengan kecepatan native. 8 Juli 2026. https://new.nat6.net/id/news/cmrcabmvj00ymihqce96ilbfi/