Hugging Face bekerja sama dengan bitsandbytes untuk mengintegrasikan perkalian matriks 8-bit LLM.int8() secara penuh ke dalam pustaka transformers dan accelerate, sehingga penggunaan memori GPU untuk inferensi model besar seperti BLOOM-176B berkurang setengah tanpa penurunan performa.
Poin utama
Hugging Face bekerja sama dengan bitsandbytes untuk mengintegrasikan perkalian matriks 8-bit LLM.
int8 secara penuh ke dalam pustaka transformers dan accelerate
sehingga penggunaan memori GPU untuk inferensi model besar seperti BLOOM-176B berkurang setengah…
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Hugging Face jelaskan integrasi dan penggunaan kuantisasi 8-bit LLM.int8() di transformers. 17 Agustus 2022. https://new.nat6.net/id/news/cvasrthz1q3ab3rto0poz5wsb/