Backend mô hình hóa vLLM transformers đạt tốc độ gốc
Tiêu đề gốc:Native-speed vLLM transformers modeling backend
Tóm tắt AI
Hugging Face công bố backend vLLM của transformers hiện đạt tốc độ tương đương hoặc nhanh hơn triển khai vLLM gốc viết tay. Tác giả mô hình không cần chuyển mã mà vẫn tự động tận dụng transformers để suy luận siêu nhanh. Thử nghiệm với ba cấu hình Qwen3-4B (một GPU), Qwen3-32B (song song tensor) và Qwen3-235B-A22B-FP8 MoE (song song dữ liệu + chuyên gia), thông lượng đều đạt hoặc vượt mức gốc. Backend phân tích tĩnh đồ thị qua torch.fx, viết lại mã AST để hợp nhất lớp động, hỗ trợ song song tensor/pipeline/chuyên gia và torch.compile. Người dùng chỉ cần thêm cờ `--model-impl transformers`. Hiện chưa hỗ trợ mô hình attention tuyến tính nhưng sẽ sớm hỗ trợ.
Thông tin chính
- Hugging Face công bố backend vLLM của transformers hiện đạt tốc độ tương đương hoặc nhanh hơn…
- Tác giả mô hình không cần chuyển mã mà vẫn tự động tận dụng transformers để suy luận siêu nhanh.
- Thử nghiệm với ba cấu hình Qwen3-4B (một GPU),Qwen3-32B (song song tensor) và Qwen3-235B-A22B-FP8…
- Backend phân tích tĩnh đồ thị qua torch.
- fx,viết lại mã AST để hợp nhất lớp động,hỗ trợ song song tensor/pipeline/chuyên gia và torch.
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- Hugging Face 社区博客(混合发现)
- Danh mục
- Sản phẩm & ứng dụng
- Điểm AI
- 66
用 transformers 写的模型,现在不用改一行代码就能在 vLLM 里跑到手写实现的水平,模型作者最大的集成痛被抹平了。虽然主要是工程黑魔法,但生态意义不小。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Backend mô hình hóa vLLM transformers đạt tốc độ gốc. 8 tháng 7 2026. https://new.nat6.net/vi/news/cmrcabmvj00ymihqce96ilbfi/