transformers unterstützt direktes Laden von GGUF-quantisierten Modellen, lokale Inferenzleistung nahe llama.cpp
Originaltitel:Transformers now runs llama.cpp quants
KI-Zusammenfassung
Hugging Face hat bekannt gegeben, dass transformers GGUF-quantisierte Modelle direkt ausführen kann. Durch Übergabe von gguf_file an from_pretrained lassen sich GGUF-Checkpoints vom Hub laden; dabei werden die Metal-Kernel von ggml wiederverwendet.
Kernpunkte
- Hugging Face hat bekannt gegeben,dass transformers GGUF-quantisierte Modelle direkt ausführen kann.
- Durch Übergabe von gguf_file an from_pretrained lassen sich GGUF-Checkpoints vom Hub laden
- dabei werden die Metal-Kernel von ggml wiederverwendet.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- Hugging Face 社区博客(混合发现)
- Kategorie
- Produkte & Apps
- KI-Bewertung
- 73
官方宣布 transformers 直接加载 GGUF,给出在 Apple Silicon 上接近 llama.cpp 的实测吞吐和加载方法,可帮助本地推理用户选择工作流。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: transformers unterstützt direktes Laden von GGUF-quantisierten Modellen, lokale Inferenzleistung nahe llama.cpp. 22. September 2026. https://new.nat6.net/de/news/cmuckj3gv09kiroed6m91iyre/