チュートリアル

Hugging Face、transformers における LLM.int8() 8 ビット量子化の統合と使用方法を解説

原題:A Gentle Introduction to 8-bit Matrix Multiplication for transformers at scale using transformers, accelerate and bitsandbytes

AI 要約

Hugging Face は bitsandbytes と協力し、LLM.int8() 8 ビット行列乗算を transformers と accelerate ライブラリに完全統合した。BLOOM-176B などの大規模言語モデルの推論時 VRAM 使用量を性能低下なしで半減できる。

要点

  • Hugging Face は bitsandbytes と協力し、LLM.
  • int8 8 ビット行列乗算を transformers と accelerate ライブラリに完全統合した。
  • BLOOM-176B などの大規模言語モデルの推論時 VRAM 使用量を性能低下なしで半減できる

概要

公開日時
更新日時
出典
Hugging Face 社区博客(混合发现)
カテゴリ
チュートリアル
AI スコア
79
原文を読む 情報源で全文を読む
おすすめの理由

文章由集成团队亲自讲解 LLM.int8() 的原理、异常值处理和 transformers 集成细节,并附基准数据与代码示例。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:Hugging Face、transformers における LLM.int8() 8 ビット量子化の統合と使用方法を解説。2022年8月17日。https://new.nat6.net/ja/news/cvasrthz1q3ab3rto0poz5wsb/

すべて見る →