产品与应用

transformers 支持直接加载 GGUF 量化模型,本地推理性能接近 llama.cpp

原文标题:Transformers now runs llama.cpp quants

AI 摘要

Hugging Face 宣布 transformers 支持直接运行 GGUF 量化模型,通过 from_pretrained 传入 gguf_file 即可加载 Hub 上的 GGUF checkpoint,并复用 ggml 的 Metal 内核。

关键信息

  • Hugging Face 宣布 transformers 支持直接运行 GGUF 量化模型,通过 from_pretrained 传入 gguf_file 即可加载 Hub 上的 GGUF chec…
  • 官方宣布 transformers 直接加载 GGUF,给出在 Apple Silicon 上接近 llama.
  • cpp 的实测吞吐和加载方法,可帮助本地推理用户选择工作流

速览

发布时间
更新时间
来源
Hugging Face 社区博客(混合发现)
分类
产品与应用
AI 评分
73
阅读原文 前往信息源阅读完整正文
推荐理由

官方宣布 transformers 直接加载 GGUF,给出在 Apple Silicon 上接近 llama.cpp 的实测吞吐和加载方法,可帮助本地推理用户选择工作流。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:transformers 支持直接加载 GGUF 量化模型,本地推理性能接近 llama.cpp。2026年9月22日。https://new.nat6.net/news/cmuckj3gv09kiroed6m91iyre/

查看全部 →