Sản phẩm & ứng dụng

Backend mô hình hóa vLLM transformers đạt tốc độ gốc

Tiêu đề gốc:Native-speed vLLM transformers modeling backend

Tóm tắt AI

Hugging Face công bố backend vLLM của transformers hiện đạt tốc độ tương đương hoặc nhanh hơn triển khai vLLM gốc viết tay. Tác giả mô hình không cần chuyển mã mà vẫn tự động tận dụng transformers để suy luận siêu nhanh. Thử nghiệm với ba cấu hình Qwen3-4B (một GPU), Qwen3-32B (song song tensor) và Qwen3-235B-A22B-FP8 MoE (song song dữ liệu + chuyên gia), thông lượng đều đạt hoặc vượt mức gốc. Backend phân tích tĩnh đồ thị qua torch.fx, viết lại mã AST để hợp nhất lớp động, hỗ trợ song song tensor/pipeline/chuyên gia và torch.compile. Người dùng chỉ cần thêm cờ `--model-impl transformers`. Hiện chưa hỗ trợ mô hình attention tuyến tính nhưng sẽ sớm hỗ trợ.

Thông tin chính

  • Hugging Face công bố backend vLLM của transformers hiện đạt tốc độ tương đương hoặc nhanh hơn…
  • Tác giả mô hình không cần chuyển mã mà vẫn tự động tận dụng transformers để suy luận siêu nhanh.
  • Thử nghiệm với ba cấu hình Qwen3-4B (một GPU),Qwen3-32B (song song tensor) và Qwen3-235B-A22B-FP8…
  • Backend phân tích tĩnh đồ thị qua torch.
  • fx,viết lại mã AST để hợp nhất lớp động,hỗ trợ song song tensor/pipeline/chuyên gia và torch.

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
Hugging Face 社区博客(混合发现)
Danh mục
Sản phẩm & ứng dụng
Điểm AI
66
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

用 transformers 写的模型,现在不用改一行代码就能在 vLLM 里跑到手写实现的水平,模型作者最大的集成痛被抹平了。虽然主要是工程黑魔法,但生态意义不小。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Backend mô hình hóa vLLM transformers đạt tốc độ gốc. 8 tháng 7 2026. https://new.nat6.net/vi/news/cmrcabmvj00ymihqce96ilbfi/

Xem tất cả →