製品とアプリ

transformers、GGUF量子化モデルの直接読み込みに対応 ローカル推論性能はllama.cppに接近

原題:Transformers now runs llama.cpp quants

AI 要約

Hugging FaceはtransformersがGGUF量子化モデルを直接実行できるようになったと発表した。from_pretrainedにgguf_fileを渡すことでHub上のGGUFチェックポイントを読み込め、ggmlのMetalカーネルを再利用する。

要点

  • Hugging FaceはtransformersがGGUF量子化モデルを直接実行できるようになったと発表した。
  • from_pretrainedにgguf_fileを渡すことでHub上のGGUFチェックポイントを読み込め
  • ggmlのMetalカーネルを再利用する

概要

公開日時
更新日時
出典
Hugging Face 社区博客(混合发现)
カテゴリ
製品とアプリ
AI スコア
73
原文を読む 情報源で全文を読む
おすすめの理由

官方宣布 transformers 直接加载 GGUF,给出在 Apple Silicon 上接近 llama.cpp 的实测吞吐和加载方法,可帮助本地推理用户选择工作流。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:transformers、GGUF量子化モデルの直接読み込みに対応 ローカル推論性能はllama.cppに接近。2026年9月22日。https://new.nat6.net/ja/news/cmuckj3gv09kiroed6m91iyre/

すべて見る →