transformers अब GGUF क्वांटाइज़्ड मॉडल सीधे लोड करता है, स्थानीय इन्फरेंस प्रदर्शन llama.cpp के करीब
मूल शीर्षक:Transformers now runs llama.cpp quants
AI सारांश
Hugging Face ने घोषणा की कि transformers अब GGUF क्वांटाइज़्ड मॉडल सीधे चलाने का समर्थन करता है। from_pretrained में gguf_file पास करके Hub पर मौजूद GGUF checkpoint लोड किया जा सकता है और ggml के Metal kernel का पुनः उपयोग किया जाता है।
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- Hugging Face 社区博客(混合发现)
- श्रेणी
- उत्पाद और ऐप्स
- AI स्कोर
- 73
官方宣布 transformers 直接加载 GGUF,给出在 Apple Silicon 上接近 llama.cpp 的实测吞吐和加载方法,可帮助本地推理用户选择工作流。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: transformers अब GGUF क्वांटाइज़्ड मॉडल सीधे लोड करता है, स्थानीय इन्फरेंस प्रदर्शन llama.cpp के करीब। 22 सितंबर 2026। https://new.nat6.net/hi/news/cmuckj3gv09kiroed6m91iyre/