ผลิตภัณฑ์และแอป

transformers รองรับการโหลดโมเดลควอนไทซ์ GGUF โดยตรง ประสิทธิภาพการอนุมานในเครื่องใกล้เคียง llama.cpp

หัวข้อต้นฉบับ:Transformers now runs llama.cpp quants

สรุปโดย AI

Hugging Face ประกาศว่า transformers รองรับการรันโมเดลควอนไทซ์ GGUF โดยตรง เพียงส่ง gguf_file ผ่าน from_pretrained เพื่อโหลด checkpoint GGUF บน Hub และนำเคอร์เนล Metal ของ ggml กลับมาใช้

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
Hugging Face 社区博客(混合发现)
หมวดหมู่
ผลิตภัณฑ์และแอป
คะแนน AI
73
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

官方宣布 transformers 直接加载 GGUF,给出在 Apple Silicon 上接近 llama.cpp 的实测吞吐和加载方法,可帮助本地推理用户选择工作流。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: transformers รองรับการโหลดโมเดลควอนไทซ์ GGUF โดยตรง ประสิทธิภาพการอนุมานในเครื่องใกล้เคียง llama.cpp 22 กันยายน 2026 https://new.nat6.net/th/news/cmuckj3gv09kiroed6m91iyre/

ดูทั้งหมด →