transformers menyokong pemuatan terus model kuantisasi GGUF, prestasi penaakulan setempat hampir menyamai llama.cpp
Tajuk asal:Transformers now runs llama.cpp quants
Ringkasan AI
Hugging Face mengumumkan transformers menyokong menjalankan terus model kuantisasi GGUF, dengan menghantar gguf_file melalui from_pretrained untuk memuatkan checkpoint GGUF di Hub, serta menggunakan semula kernel Metal ggml.
Maklumat penting
- Hugging Face mengumumkan transformers menyokong menjalankan terus model kuantisasi GGUF
- dengan menghantar gguf_file melalui from_pretrained untuk memuatkan checkpoint GGUF di Hub
- serta menggunakan semula kernel Metal ggml.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- Hugging Face 社区博客(混合发现)
- Kategori
- Produk & Aplikasi
- Skor AI
- 73
官方宣布 transformers 直接加载 GGUF,给出在 Apple Silicon 上接近 llama.cpp 的实测吞吐和加载方法,可帮助本地推理用户选择工作流。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: transformers menyokong pemuatan terus model kuantisasi GGUF, prestasi penaakulan setempat hampir menyamai llama.cpp. 22 September 2026. https://new.nat6.net/ms/news/cmuckj3gv09kiroed6m91iyre/