transformers admite cargar directamente modelos cuantizados GGUF, con rendimiento de inferencia local cercano a llama.cpp
Título original:Transformers now runs llama.cpp quants
Resumen de IA
Hugging Face anuncia que transformers permite ejecutar directamente modelos cuantizados GGUF: basta con pasar gguf_file a from_pretrained para cargar un checkpoint GGUF del Hub y reutilizar los kernels Metal de ggml.
Resumen rápido
- Publicado
- Actualizado
- Fuente
- Hugging Face 社区博客(混合发现)
- Categoría
- Productos y aplicaciones
- Puntuación IA
- 73
官方宣布 transformers 直接加载 GGUF,给出在 Apple Silicon 上接近 llama.cpp 的实测吞吐和加载方法,可帮助本地推理用户选择工作流。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: transformers admite cargar directamente modelos cuantizados GGUF, con rendimiento de inferencia local cercano a llama.cpp. 22. septiembre 2026. https://new.nat6.net/es/news/cmuckj3gv09kiroed6m91iyre/