首个基于华为昇腾910B NPU全栈训练的1.58比特开源大模型BitCPM-CANN发布
原文标题:BitCPM-CANN just became the world’s first open-sourced 1.58-bit ternary LLM trained entirely on Chin...
AI 摘要
ModelBest、清华大学与OpenBMB社区联合发布了BitCPM-CANN,这是全球首个完全基于华为昇腾910B NPU训练的开源1.58比特三元大模型。其核心创新在于采用仅含三种权重状态的极低比特量化技术,使模型内存占用相比BF16降低约6倍,可高效部署于手机、电脑、车载设备等边缘端。更关键的是,整个训练全栈(从量化算子到框架)均在昇腾上原生构建与验证,而非简单移植。该模型家族(0.5B-8B)在多项基准测试上保持了全精度模型95-97%的性能,为资源受限环境下部署和复现大模型提供了可落地的解决方案。
关键信息
- ModelBest、清华大学与OpenBMB社区联合发布了BitCPM-CANN,这是全球首个完全基于华为昇腾910B NPU训练的开源1.
- 58比特三元大模型。
- 其核心创新在于采用仅含三种权重状态的极低比特量化技术,使模型内存占用相比BF16降低约6倍,可高效部署于手机、电脑、车载设备等边缘端。
- 更关键的是,整个训练全栈(从量化算子到框架)均在昇腾上原生构建与验证,而非简单移植。
- 该模型家族(0.
速览
- 发布时间
- 更新时间
- 分类
- 模型发布
- AI 评分
- 75
推荐理由
首个开源的1.58-bit三元LLM,直接在昇腾芯片上原生训练,内存压缩到BF16的六分之一,8B模型就能跑在手机上,做端侧部署的可以立刻上手试试了。
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:首个基于华为昇腾910B NPU全栈训练的1.58比特开源大模型BitCPM-CANN发布。2026年5月22日。https://new.nat6.net/news/cmph1mhwi0kj7sljwklnw8x2l/