Backend pemodelan transformers vLLM pada kelajuan asli
Tajuk asal:Native-speed vLLM transformers modeling backend
Ringkasan AI
Hugging Face mengumumkan backend transformers vLLM kini setanding atau lebih pantas daripada pelaksanaan vLLM asli yang ditulis tangan. Pengarang model boleh memanfaatkan transformers secara automatik untuk inferens ultra pantas tanpa perlu memindahkan kod. Ujian menggunakan tiga konfigurasi iaitu Qwen3-4B (GPU tunggal), Qwen3-32B (selari tensor) dan Qwen3-235B-A22B-FP8 MoE (selari data+pakar), dengan daya pemprosesan mencapai atau melebihi asli. Backend ini menganalisis graf secara statik melalui torch.fx dan menulis semula kod AST untuk menggabungkan lapisan secara dinamik, menyokong selari tensor/paip/pakar serta torch.compile. Pengguna hanya perlu menambah flag `--model-impl transformers`. Model perhatian linear belum disokong tetapi akan disokong tidak lama lagi.
Maklumat penting
- Hugging Face mengumumkan backend transformers vLLM kini setanding atau lebih pantas daripada…
- Pengarang model boleh memanfaatkan transformers secara automatik untuk inferens ultra pantas tanpa…
- Ujian menggunakan tiga konfigurasi iaitu Qwen3-4B (GPU tunggal),Qwen3-32B (selari tensor) dan…
- Backend ini menganalisis graf secara statik melalui torch.
- fx dan menulis semula kod AST untuk menggabungkan lapisan secara dinamik,menyokong selari…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- Hugging Face 社区博客(混合发现)
- Kategori
- Produk & Aplikasi
- Skor AI
- 66
用 transformers 写的模型,现在不用改一行代码就能在 vLLM 里跑到手写实现的水平,模型作者最大的集成痛被抹平了。虽然主要是工程黑魔法,但生态意义不小。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Backend pemodelan transformers vLLM pada kelajuan asli. 8 Julai 2026. https://new.nat6.net/ms/news/cmrcabmvj00ymihqce96ilbfi/