Google veröffentlicht Gemma 4 QAT-Checkpoints für lokalen Betrieb auf Consumer-GPUs und Mobilgeräten
Originaltitel:New @GoogleGemma 4 QAT (Quantization-Aware Training) checkpoints are here, so you can run models loc...
KI-Zusammenfassung
Google hat quantisierungsbewusste Trainings-Checkpoints (QAT) für Gemma 4 veröffentlicht, die lokalen Betrieb auf Consumer-GPUs und Mobilgeräten bei minimalem Qualitätsverlust ermöglichen. Die neuen Checkpoints sind im GGUF-Format (Q4_0) verfügbar und decken alle Größen sowie Draft-Modelle ab, um optimale lokale Leistung zu erzielen. Ein benutzerdefinierter Mobilmodus nutzt einen Mixed-Precision-Ansatz und komprimiert Gemma 4 auf unter 1 GB, einschließlich 2-Bit-Decoder-Schichten, optimiertem KV-Cache und statischen Aktivierungen. Durch die Simulation der Komprimierung während des Trainings (statt Post-Training-Quantisierung) werden Speicherbedarf und Dekodiergeschwindigkeit deutlich verbessert, während die Inferenzqualität erhalten bleibt.
Kernpunkte
- Google hat quantisierungsbewusste Trainings-Checkpoints (QAT) für Gemma 4 veröffentlicht,die…
- Die neuen Checkpoints sind im GGUF-Format (Q4_0) verfügbar und decken alle Größen sowie…
- Ein benutzerdefinierter Mobilmodus nutzt einen Mixed-Precision-Ansatz und komprimiert Gemma 4 auf…
- Durch die Simulation der Komprimierung während des Trainings (statt Post-Training-Quantisierung)…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Kategorie
- Modellveröffentlichungen
- KI-Bewertung
- 72
Gemma 4 的量化版把模型压到 1GB 以下,手机本地跑大模型的门槛又低了一大截。Google 这次没用传统的训练后量化,而是把压缩直接嵌进训练里,效果比 PTQ 好一截,搞端侧部署的可以拿 checkpoint 试起来了。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Google veröffentlicht Gemma 4 QAT-Checkpoints für lokalen Betrieb auf Consumer-GPUs und Mobilgeräten. 6. Juni 2026. https://new.nat6.net/de/news/cmq166ise0cu5sltrv7a12syq/