Google phát hành checkpoint QAT của Gemma 4, hỗ trợ chạy cục bộ trên GPU tiêu dùng và thiết bị di động
Tiêu đề gốc:New @GoogleGemma 4 QAT (Quantization-Aware Training) checkpoints are here, so you can run models loc...
Tóm tắt AI
Google phát hành checkpoint huấn luyện nhận biết lượng tử hóa (QAT) của Gemma 4, hỗ trợ chạy cục bộ trên GPU tiêu dùng và thiết bị di động với tổn thất chất lượng rất nhỏ. Checkpoint mới cung cấp định dạng GGUF (Q4_0), bao phủ mọi kích thước và mô hình nháp, đạt hiệu năng cục bộ tốt nhất. Chế độ di động tùy chỉnh áp dụng phương án độ chính xác hỗn hợp, nén Gemma 4 xuống dưới 1GB, gồm lớp giải mã 2-bit, KV cache tối ưu và kích hoạt tĩnh. Nhờ mô phỏng nén trong quá trình huấn luyện (thay vì lượng tử hóa sau huấn luyện), giảm mạnh dung lượng bộ nhớ và tăng tốc giải mã trong khi vẫn giữ chất lượng suy luận.
Thông tin chính
- Google phát hành checkpoint huấn luyện nhận biết lượng tử hóa (QAT) của Gemma 4,hỗ trợ chạy cục bộ…
- Checkpoint mới cung cấp định dạng GGUF (Q4_0),bao phủ mọi kích thước và mô hình nháp,đạt hiệu năng…
- Chế độ di động tùy chỉnh áp dụng phương án độ chính xác hỗn hợp,nén Gemma 4 xuống dưới 1GB,gồm lớp…
- Nhờ mô phỏng nén trong quá trình huấn luyện (thay vì lượng tử hóa sau huấn luyện),giảm mạnh dung…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Danh mục
- Ra mắt mô hình
- Điểm AI
- 72
Gemma 4 的量化版把模型压到 1GB 以下,手机本地跑大模型的门槛又低了一大截。Google 这次没用传统的训练后量化,而是把压缩直接嵌进训练里,效果比 PTQ 好一截,搞端侧部署的可以拿 checkpoint 试起来了。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Google phát hành checkpoint QAT của Gemma 4, hỗ trợ chạy cục bộ trên GPU tiêu dùng và thiết bị di động. 6 tháng 6 2026. https://new.nat6.net/vi/news/cmq166ise0cu5sltrv7a12syq/