Produkte & Apps

transformers unterstützt direktes Laden von GGUF-quantisierten Modellen, lokale Inferenzleistung nahe llama.cpp

Originaltitel:Transformers now runs llama.cpp quants

KI-Zusammenfassung

Hugging Face hat bekannt gegeben, dass transformers GGUF-quantisierte Modelle direkt ausführen kann. Durch Übergabe von gguf_file an from_pretrained lassen sich GGUF-Checkpoints vom Hub laden; dabei werden die Metal-Kernel von ggml wiederverwendet.

Kernpunkte

  • Hugging Face hat bekannt gegeben,dass transformers GGUF-quantisierte Modelle direkt ausführen kann.
  • Durch Übergabe von gguf_file an from_pretrained lassen sich GGUF-Checkpoints vom Hub laden
  • dabei werden die Metal-Kernel von ggml wiederverwendet.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Hugging Face 社区博客(混合发现)
Kategorie
Produkte & Apps
KI-Bewertung
73
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

官方宣布 transformers 直接加载 GGUF,给出在 Apple Silicon 上接近 llama.cpp 的实测吞吐和加载方法,可帮助本地推理用户选择工作流。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: transformers unterstützt direktes Laden von GGUF-quantisierten Modellen, lokale Inferenzleistung nahe llama.cpp. 22. September 2026. https://new.nat6.net/de/news/cmuckj3gv09kiroed6m91iyre/

Alle ansehen →