模型发布

首个基于华为昇腾910B NPU全栈训练的1.58比特开源大模型BitCPM-CANN发布

原文标题:BitCPM-CANN just became the world’s first open-sourced 1.58-bit ternary LLM trained entirely on Chin...

AI 摘要

ModelBest、清华大学与OpenBMB社区联合发布了BitCPM-CANN,这是全球首个完全基于华为昇腾910B NPU训练的开源1.58比特三元大模型。其核心创新在于采用仅含三种权重状态的极低比特量化技术,使模型内存占用相比BF16降低约6倍,可高效部署于手机、电脑、车载设备等边缘端。更关键的是,整个训练全栈(从量化算子到框架)均在昇腾上原生构建与验证,而非简单移植。该模型家族(0.5B-8B)在多项基准测试上保持了全精度模型95-97%的性能,为资源受限环境下部署和复现大模型提供了可落地的解决方案。

关键信息

  • ModelBest、清华大学与OpenBMB社区联合发布了BitCPM-CANN,这是全球首个完全基于华为昇腾910B NPU训练的开源1.
  • 58比特三元大模型。
  • 其核心创新在于采用仅含三种权重状态的极低比特量化技术,使模型内存占用相比BF16降低约6倍,可高效部署于手机、电脑、车载设备等边缘端。
  • 更关键的是,整个训练全栈(从量化算子到框架)均在昇腾上原生构建与验证,而非简单移植。
  • 该模型家族(0.

速览

发布时间
更新时间
来源
X:Rohan Paul (@rohanpaul_ai)
分类
模型发布
AI 评分
75
阅读原文 前往信息源阅读完整正文
推荐理由

首个开源的1.58-bit三元LLM,直接在昇腾芯片上原生训练,内存压缩到BF16的六分之一,8B模型就能跑在手机上,做端侧部署的可以立刻上手试试了。

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:首个基于华为昇腾910B NPU全栈训练的1.58比特开源大模型BitCPM-CANN发布。2026年5月22日。https://new.nat6.net/news/cmph1mhwi0kj7sljwklnw8x2l/

查看全部 →