教程与技巧

Hugging Face 详解 LLM.int8() 8 位量化在 transformers 中的集成与使用

原文标题:A Gentle Introduction to 8-bit Matrix Multiplication for transformers at scale using transformers, accelerate and bitsandbytes

AI 摘要

Hugging Face 与 bitsandbytes 合作,将 LLM.int8() 8 位矩阵乘法完整集成到 transformers 和 accelerate 库,使 BLOOM-176B 等大模型推理显存占用减半且无性能下降。

关键信息

  • Hugging Face 与 bitsandbytes 合作,将 LLM.
  • int8 8 位矩阵乘法完整集成到 transformers 和 accelerate 库,使 BLOOM-176B 等大模型推理显存占用减半且无性能下降
  • 文章由集成团队亲自讲解 LLM.
  • int8 的原理、异常值处理和 transformers 集成细节,并附基准数据与代码示例

速览

发布时间
更新时间
来源
Hugging Face 社区博客(混合发现)
分类
教程与技巧
AI 评分
79
阅读原文 前往信息源阅读完整正文
推荐理由

文章由集成团队亲自讲解 LLM.int8() 的原理、异常值处理和 transformers 集成细节,并附基准数据与代码示例。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:Hugging Face 详解 LLM.int8() 8 位量化在 transformers 中的集成与使用。2022年8月17日。https://new.nat6.net/news/cvasrthz1q3ab3rto0poz5wsb/

查看全部 →