모델 출시

Google, 소비자용 GPU와 모바일 기기 로컬 실행 지원하는 Gemma 4 QAT 체크포인트 공개

원제목:New @GoogleGemma 4 QAT (Quantization-Aware Training) checkpoints are here, so you can run models loc...

AI 요약

Google이 Gemma 4 양자화 인식 훈련(QAT) 체크포인트를 공개했다. 소비자용 GPU와 모바일 기기에서 품질 손실을 최소화하며 로컬 실행을 지원한다. 새 체크포인트는 GGUF(Q4_0) 형식으로 모든 크기와 드래프트 모델을 포괄해 최상의 로컬 성능을 구현한다. 커스텀 모바일 모드는 혼합 정밀도 방식을 채택해 Gemma 4를 1GB 이하로 압축하며, 2-bit 디코딩 레이어, 최적화된 KV 캐시, 정적 활성화를 포함한다. 훈련 중 압축을 시뮬레이션함으로써(훈련 후 양자화 대신) 메모리 점유를 크게 줄이고 디코딩을 가속하면서 추론 품질을 유지한다.

핵심 정보

  • Google이 Gemma 4 양자화 인식 훈련(QAT) 체크포인트를 공개했다.
  • 소비자용 GPU와 모바일 기기에서 품질 손실을 최소화하며 로컬 실행을 지원한다.
  • 새 체크포인트는 GGUF(Q4_0) 형식으로 모든 크기와 드래프트 모델을 포괄해 최상의 로컬 성능을 구현한다.
  • 커스텀 모바일 모드는 혼합 정밀도 방식을 채택해 Gemma 4를 1GB 이하로 압축하며,2-bit 디코딩 레이어,최적화된 KV 캐시,정적 활성화를 포함한다.
  • 훈련 중 압축을 시뮬레이션함으로써(훈련 후 양자화 대신) 메모리 점유를 크게 줄이고 디코딩을 가속하면서 추론 품질을 유지한다.

한눈에 보기

게시
업데이트
출처
X:Google AI for Developers (@googleaidevs)
카테고리
모델 출시
AI 점수
72
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

Gemma 4 的量化版把模型压到 1GB 以下,手机本地跑大模型的门槛又低了一大截。Google 这次没用传统的训练后量化,而是把压缩直接嵌进训练里,效果比 PTQ 好一截,搞端侧部署的可以拿 checkpoint 试起来了。

관련 엔티티

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: Google, 소비자용 GPU와 모바일 기기 로컬 실행 지원하는 Gemma 4 QAT 체크포인트 공개. 2026년 6월 6일. https://new.nat6.net/ko/news/cmq166ise0cu5sltrv7a12syq/

전체 보기 →