Tutorial & Tips

Hugging Face jelaskan integrasi dan penggunaan kuantisasi 8-bit LLM.int8() di transformers

Judul asli:A Gentle Introduction to 8-bit Matrix Multiplication for transformers at scale using transformers, accelerate and bitsandbytes

Ringkasan AI

Hugging Face bekerja sama dengan bitsandbytes untuk mengintegrasikan perkalian matriks 8-bit LLM.int8() secara penuh ke dalam pustaka transformers dan accelerate, sehingga penggunaan memori GPU untuk inferensi model besar seperti BLOOM-176B berkurang setengah tanpa penurunan performa.

Poin utama

  • Hugging Face bekerja sama dengan bitsandbytes untuk mengintegrasikan perkalian matriks 8-bit LLM.
  • int8 secara penuh ke dalam pustaka transformers dan accelerate
  • sehingga penggunaan memori GPU untuk inferensi model besar seperti BLOOM-176B berkurang setengah…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Hugging Face 社区博客(混合发现)
Kategori
Tutorial & Tips
Skor AI
79
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

文章由集成团队亲自讲解 LLM.int8() 的原理、异常值处理和 transformers 集成细节,并附基准数据与代码示例。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Hugging Face jelaskan integrasi dan penggunaan kuantisasi 8-bit LLM.int8() di transformers. 17 Agustus 2022. https://new.nat6.net/id/news/cvasrthz1q3ab3rto0poz5wsb/

Lihat semua →