Продукты и приложения

transformers научился напрямую загружать квантованные GGUF-модели; локальный инференс близок к llama.cpp

Оригинальный заголовок:Transformers now runs llama.cpp quants

ИИ-резюме

Hugging Face объявила, что transformers теперь поддерживает прямой запуск квантованных GGUF-моделей: достаточно передать gguf_file в from_pretrained, чтобы загрузить GGUF-checkpoint с Hub, с переиспользованием Metal-ядер ggml.

Ключевые моменты

  • Hugging Face объявила
  • что transformers теперь поддерживает прямой запуск квантованных GGUF-моделей: достаточно передать…
  • чтобы загрузить GGUF-checkpoint с Hub,с переиспользованием Metal-ядер ggml.

Кратко

Опубликовано
Обновлено
Источник
Hugging Face 社区博客(混合发现)
Категория
Продукты и приложения
Оценка ИИ
73
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

官方宣布 transformers 直接加载 GGUF,给出在 Apple Silicon 上接近 llama.cpp 的实测吞吐和加载方法,可帮助本地推理用户选择工作流。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: transformers научился напрямую загружать квантованные GGUF-модели; локальный инференс близок к llama.cpp. 22 сентября 2026. https://new.nat6.net/ru/news/cmuckj3gv09kiroed6m91iyre/

Смотреть все →