transformers научился напрямую загружать квантованные GGUF-модели; локальный инференс близок к llama.cpp
Оригинальный заголовок:Transformers now runs llama.cpp quants
ИИ-резюме
Hugging Face объявила, что transformers теперь поддерживает прямой запуск квантованных GGUF-моделей: достаточно передать gguf_file в from_pretrained, чтобы загрузить GGUF-checkpoint с Hub, с переиспользованием Metal-ядер ggml.
Ключевые моменты
- Hugging Face объявила
- что transformers теперь поддерживает прямой запуск квантованных GGUF-моделей: достаточно передать…
- чтобы загрузить GGUF-checkpoint с Hub,с переиспользованием Metal-ядер ggml.
Кратко
- Опубликовано
- Обновлено
- Источник
- Hugging Face 社区博客(混合发现)
- Категория
- Продукты и приложения
- Оценка ИИ
- 73
官方宣布 transformers 直接加载 GGUF,给出在 Apple Silicon 上接近 llama.cpp 的实测吞吐和加载方法,可帮助本地推理用户选择工作流。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: transformers научился напрямую загружать квантованные GGUF-модели; локальный инференс близок к llama.cpp. 22 сентября 2026. https://new.nat6.net/ru/news/cmuckj3gv09kiroed6m91iyre/