模型发布

谷歌发布 Gemma 4 QAT 检查点,支持消费级 GPU 和移动设备本地运行

原文标题:New @GoogleGemma 4 QAT (Quantization-Aware Training) checkpoints are here, so you can run models loc...

AI 摘要

谷歌发布 Gemma 4 量化感知训练 (QAT) 检查点,支持在消费级 GPU 和移动设备上本地运行,质量损失极小。新检查点提供 GGUF(Q4_0)格式,覆盖所有尺寸及起草模型,实现最佳本地性能。自定义移动模式采用混合精度方案,将 Gemma 4 压缩至 1GB 以下,包含 2-bit 解码层、优化 KV 缓存和静态激活。通过在训练中模拟压缩(而非训练后量化),大幅降低内存占用并加速解码,同时保持推理质量。

关键信息

  • 谷歌发布 Gemma 4 量化感知训练 (QAT) 检查点,支持在消费级 GPU 和移动设备上本地运行,质量损失极小。
  • 新检查点提供 GGUF(Q4_0)格式,覆盖所有尺寸及起草模型,实现最佳本地性能。
  • 自定义移动模式采用混合精度方案,将 Gemma 4 压缩至 1GB 以下,包含 2-bit 解码层、优化 KV 缓存和静态激活。
  • 通过在训练中模拟压缩(而非训练后量化),大幅降低内存占用并加速解码,同时保持推理质量
  • Gemma 4 的量化版把模型压到 1GB 以下,手机本地跑大模型的门槛又低了一大截。

速览

发布时间
更新时间
来源
X:Google AI for Developers (@googleaidevs)
分类
模型发布
AI 评分
72
阅读原文 前往信息源阅读完整正文
推荐理由

Gemma 4 的量化版把模型压到 1GB 以下,手机本地跑大模型的门槛又低了一大截。Google 这次没用传统的训练后量化,而是把压缩直接嵌进训练里,效果比 PTQ 好一截,搞端侧部署的可以拿 checkpoint 试起来了。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:谷歌发布 Gemma 4 QAT 检查点,支持消费级 GPU 和移动设备本地运行。2026年6月6日。https://new.nat6.net/news/cmq166ise0cu5sltrv7a12syq/

查看全部 →
  • Grok模型更新:更自主更准确

    更新后的 Grok-build 模型(仍是 0.5T 那个)比以前好很多。它不那么偷懒、更自主、更准确。我们仍在改进长时任务。请期待并在我们漂亮的 TUI 中使用新的使用限制!🚀

    X:Elon Musk (@elonmusk, xAI)模型发布AI 评分 67

  • Harness-1:基于强化学习训练的有状态搜索20B检索子智能体

    UIUC与Chroma联合推出Harness-1,一个20B参数的检索子智能体。它通过强化学习在一个有状态搜索框架中训练,该框架维护候选池、重要性标注集、证据图和验证记录,由策略决定搜索、筛选、验证及停止的时机。Harness-1在8个基…

    MarkTechPost(RSS)模型发布AI 评分 73

  • 京东开源JoyAI-Echo长音视频生成框架

    6月3日,京东开源JoyAI-Echo框架,解决长视频生成中角色身份崩坏、音色突变和生成缓慢三大难题。该框架通过跨模态音视频记忆库保持5分钟内角色外观与音色一致,记忆驱动后训练结合DMD技术带来约7.5倍推理加速。新增Director A…

    公众号:京东JoyAI模型发布AI 评分 72

  • 苹果发布第三代 Apple Foundation Models(AFM)

    苹果推出第三代 Apple Foundation Models(AFM)基础模型家族,与 Google 合作定制,包含五个模型,覆盖从设备端到基于 Private Cloud Compute 的服务器端模型。这些模型旨在驱动 Apple…

    Apple Machine Learning Research(RSS)模型发布AI 评分 79

  • 全球首个:高德发布3D原生城市世界模型ABot-Earth0.5

    阿里巴巴旗下高德发布全球首个3D原生城市世界模型ABot-Earth0.5,已建成覆盖190多个国家和地区的3D地图。用户输入卫星图或文字描述,10分钟即可在消费级GPU上生成公里级3D城市,输出可编辑3DGS格式,可直接导入Unity等…

    IT之家·人工智能模型发布AI 评分 73