Produk & Aplikasi

transformers menyokong pemuatan terus model kuantisasi GGUF, prestasi penaakulan setempat hampir menyamai llama.cpp

Tajuk asal:Transformers now runs llama.cpp quants

Ringkasan AI

Hugging Face mengumumkan transformers menyokong menjalankan terus model kuantisasi GGUF, dengan menghantar gguf_file melalui from_pretrained untuk memuatkan checkpoint GGUF di Hub, serta menggunakan semula kernel Metal ggml.

Maklumat penting

  • Hugging Face mengumumkan transformers menyokong menjalankan terus model kuantisasi GGUF
  • dengan menghantar gguf_file melalui from_pretrained untuk memuatkan checkpoint GGUF di Hub
  • serta menggunakan semula kernel Metal ggml.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Hugging Face 社区博客(混合发现)
Kategori
Produk & Aplikasi
Skor AI
73
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

官方宣布 transformers 直接加载 GGUF,给出在 Apple Silicon 上接近 llama.cpp 的实测吞吐和加载方法,可帮助本地推理用户选择工作流。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: transformers menyokong pemuatan terus model kuantisasi GGUF, prestasi penaakulan setempat hampir menyamai llama.cpp. 22 September 2026. https://new.nat6.net/ms/news/cmuckj3gv09kiroed6m91iyre/

Lihat Semua →