Modellveröffentlichungen

Google veröffentlicht Gemma 4 QAT-Checkpoints für lokalen Betrieb auf Consumer-GPUs und Mobilgeräten

Originaltitel:New @GoogleGemma 4 QAT (Quantization-Aware Training) checkpoints are here, so you can run models loc...

KI-Zusammenfassung

Google hat quantisierungsbewusste Trainings-Checkpoints (QAT) für Gemma 4 veröffentlicht, die lokalen Betrieb auf Consumer-GPUs und Mobilgeräten bei minimalem Qualitätsverlust ermöglichen. Die neuen Checkpoints sind im GGUF-Format (Q4_0) verfügbar und decken alle Größen sowie Draft-Modelle ab, um optimale lokale Leistung zu erzielen. Ein benutzerdefinierter Mobilmodus nutzt einen Mixed-Precision-Ansatz und komprimiert Gemma 4 auf unter 1 GB, einschließlich 2-Bit-Decoder-Schichten, optimiertem KV-Cache und statischen Aktivierungen. Durch die Simulation der Komprimierung während des Trainings (statt Post-Training-Quantisierung) werden Speicherbedarf und Dekodiergeschwindigkeit deutlich verbessert, während die Inferenzqualität erhalten bleibt.

Kernpunkte

  • Google hat quantisierungsbewusste Trainings-Checkpoints (QAT) für Gemma 4 veröffentlicht,die…
  • Die neuen Checkpoints sind im GGUF-Format (Q4_0) verfügbar und decken alle Größen sowie…
  • Ein benutzerdefinierter Mobilmodus nutzt einen Mixed-Precision-Ansatz und komprimiert Gemma 4 auf…
  • Durch die Simulation der Komprimierung während des Trainings (statt Post-Training-Quantisierung)…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
X:Google AI for Developers (@googleaidevs)
Kategorie
Modellveröffentlichungen
KI-Bewertung
72
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

Gemma 4 的量化版把模型压到 1GB 以下,手机本地跑大模型的门槛又低了一大截。Google 这次没用传统的训练后量化,而是把压缩直接嵌进训练里,效果比 PTQ 好一截,搞端侧部署的可以拿 checkpoint 试起来了。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Google veröffentlicht Gemma 4 QAT-Checkpoints für lokalen Betrieb auf Consumer-GPUs und Mobilgeräten. 6. Juni 2026. https://new.nat6.net/de/news/cmq166ise0cu5sltrv7a12syq/

Alle ansehen →