Produk & Aplikasi

Backend pemodelan vLLM transformers dengan kecepatan native

Judul asli:Native-speed vLLM transformers modeling backend

Ringkasan AI

Hugging Face mengumumkan backend vLLM transformers kini setara atau bahkan lebih cepat daripada implementasi vLLM native yang ditulis tangan. Penulis model dapat memanfaatkan transformers secara otomatis untuk inferensi super cepat tanpa perlu memindahkan kode. Pengujian menggunakan tiga konfigurasi: Qwen3-4B (GPU tunggal), Qwen3-32B (tensor paralel), dan Qwen3-235B-A22B-FP8 MoE (paralel data+expert), dengan throughput mencapai atau melampaui native. Backend ini menganalisis graf secara statis melalui torch.fx, menulis ulang kode AST untuk mewujudkan fusi lapisan dinamis, serta mendukung paralel tensor/pipeline/expert dan torch.compile. Pengguna hanya perlu menambahkan flag `--model-impl transformers`. Saat ini belum mendukung model linear attention, tetapi akan segera hadir.

Poin utama

  • Hugging Face mengumumkan backend vLLM transformers kini setara atau bahkan lebih cepat daripada…
  • Penulis model dapat memanfaatkan transformers secara otomatis untuk inferensi super cepat tanpa…
  • Pengujian menggunakan tiga konfigurasi: Qwen3-4B (GPU tunggal),Qwen3-32B (tensor paralel),dan…
  • Backend ini menganalisis graf secara statis melalui torch.
  • fx,menulis ulang kode AST untuk mewujudkan fusi lapisan dinamis,serta mendukung paralel…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Hugging Face 社区博客(混合发现)
Kategori
Produk & Aplikasi
Skor AI
66
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

用 transformers 写的模型,现在不用改一行代码就能在 vLLM 里跑到手写实现的水平,模型作者最大的集成痛被抹平了。虽然主要是工程黑魔法,但生态意义不小。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Backend pemodelan vLLM transformers dengan kecepatan native. 8 Juli 2026. https://new.nat6.net/id/news/cmrcabmvj00ymihqce96ilbfi/

Lihat semua →