谷歌发布 Gemma 4 QAT 检查点,支持消费级 GPU 和移动设备本地运行
原文标题:New @GoogleGemma 4 QAT (Quantization-Aware Training) checkpoints are here, so you can run models loc...
AI 摘要
谷歌发布 Gemma 4 量化感知训练 (QAT) 检查点,支持在消费级 GPU 和移动设备上本地运行,质量损失极小。新检查点提供 GGUF(Q4_0)格式,覆盖所有尺寸及起草模型,实现最佳本地性能。自定义移动模式采用混合精度方案,将 Gemma 4 压缩至 1GB 以下,包含 2-bit 解码层、优化 KV 缓存和静态激活。通过在训练中模拟压缩(而非训练后量化),大幅降低内存占用并加速解码,同时保持推理质量。
关键信息
- 谷歌发布 Gemma 4 量化感知训练 (QAT) 检查点,支持在消费级 GPU 和移动设备上本地运行,质量损失极小。
- 新检查点提供 GGUF(Q4_0)格式,覆盖所有尺寸及起草模型,实现最佳本地性能。
- 自定义移动模式采用混合精度方案,将 Gemma 4 压缩至 1GB 以下,包含 2-bit 解码层、优化 KV 缓存和静态激活。
- 通过在训练中模拟压缩(而非训练后量化),大幅降低内存占用并加速解码,同时保持推理质量
- Gemma 4 的量化版把模型压到 1GB 以下,手机本地跑大模型的门槛又低了一大截。
速览
- 发布时间
- 更新时间
- 分类
- 模型发布
- AI 评分
- 72
推荐理由
Gemma 4 的量化版把模型压到 1GB 以下,手机本地跑大模型的门槛又低了一大截。Google 这次没用传统的训练后量化,而是把压缩直接嵌进训练里,效果比 PTQ 好一截,搞端侧部署的可以拿 checkpoint 试起来了。
相关实体
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:谷歌发布 Gemma 4 QAT 检查点,支持消费级 GPU 和移动设备本地运行。2026年6月6日。https://new.nat6.net/news/cmq166ise0cu5sltrv7a12syq/