Produk & Aplikasi

transformers mendukung pemuatan langsung model kuantisasi GGUF, performa inferensi lokal mendekati llama.cpp

Judul asli:Transformers now runs llama.cpp quants

Ringkasan AI

Hugging Face mengumumkan transformers mendukung menjalankan model kuantisasi GGUF secara langsung, dengan meneruskan gguf_file melalui from_pretrained untuk memuat checkpoint GGUF dari Hub, serta menggunakan kembali kernel Metal dari ggml.

Poin utama

  • Hugging Face mengumumkan transformers mendukung menjalankan model kuantisasi GGUF secara langsung
  • dengan meneruskan gguf_file melalui from_pretrained untuk memuat checkpoint GGUF dari Hub
  • serta menggunakan kembali kernel Metal dari ggml.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Hugging Face 社区博客(混合发现)
Kategori
Produk & Aplikasi
Skor AI
73
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

官方宣布 transformers 直接加载 GGUF,给出在 Apple Silicon 上接近 llama.cpp 的实测吞吐和加载方法,可帮助本地推理用户选择工作流。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: transformers mendukung pemuatan langsung model kuantisasi GGUF, performa inferensi lokal mendekati llama.cpp. 22 September 2026. https://new.nat6.net/id/news/cmuckj3gv09kiroed6m91iyre/

Lihat semua →