Productos y aplicaciones

transformers admite cargar directamente modelos cuantizados GGUF, con rendimiento de inferencia local cercano a llama.cpp

Título original:Transformers now runs llama.cpp quants

Resumen de IA

Hugging Face anuncia que transformers permite ejecutar directamente modelos cuantizados GGUF: basta con pasar gguf_file a from_pretrained para cargar un checkpoint GGUF del Hub y reutilizar los kernels Metal de ggml.

Resumen rápido

Publicado
Actualizado
Fuente
Hugging Face 社区博客(混合发现)
Categoría
Productos y aplicaciones
Puntuación IA
73
Leer el original Leer el artículo completo en la fuente original
Por qué importa

官方宣布 transformers 直接加载 GGUF,给出在 Apple Silicon 上接近 llama.cpp 的实测吞吐和加载方法,可帮助本地推理用户选择工作流。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: transformers admite cargar directamente modelos cuantizados GGUF, con rendimiento de inferencia local cercano a llama.cpp. 22. septiembre 2026. https://new.nat6.net/es/news/cmuckj3gv09kiroed6m91iyre/

Ver todo →