transformers hỗ trợ tải trực tiếp mô hình lượng tử hóa GGUF, hiệu năng suy luận cục bộ gần llama.cpp
Tiêu đề gốc:Transformers now runs llama.cpp quants
Tóm tắt AI
Hugging Face thông báo transformers hỗ trợ chạy trực tiếp mô hình lượng tử hóa GGUF, chỉ cần truyền gguf_file qua from_pretrained để tải checkpoint GGUF trên Hub, đồng thời tái sử dụng nhân Metal của ggml.
Thông tin chính
- Hugging Face thông báo transformers hỗ trợ chạy trực tiếp mô hình lượng tử hóa GGUF
- chỉ cần truyền gguf_file qua from_pretrained để tải checkpoint GGUF trên Hub
- đồng thời tái sử dụng nhân Metal của ggml.
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- Hugging Face 社区博客(混合发现)
- Danh mục
- Sản phẩm & ứng dụng
- Điểm AI
- 73
官方宣布 transformers 直接加载 GGUF,给出在 Apple Silicon 上接近 llama.cpp 的实测吞吐和加载方法,可帮助本地推理用户选择工作流。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: transformers hỗ trợ tải trực tiếp mô hình lượng tử hóa GGUF, hiệu năng suy luận cục bộ gần llama.cpp. 22 tháng 9 2026. https://new.nat6.net/vi/news/cmuckj3gv09kiroed6m91iyre/