텐센트 혼원, Hy3 플래그십 모델을 1bit·4bit로 양자화…단일 카드 배포 가능
원제목:极致量化,近三千亿参数 Hy3 单卡即可部署
AI 요약
텐센트 혼원이 295B 파라미터 Hy3 플래그십 모델 가중치를 1bit와 4bit로 양자화해 GGUF로 패키징했다. llama.cpp 생태계와 결합해 원래 다중 카드 클러스터 배포가 필요했던 모델을 최소 96GB 추론 그래픽카드 한 장으로 실행할 수 있다. 1bit 버전은 가중치를 598GB에서 85.5GiB로 압축했고, 4bit 버전은 169.9GiB로 두 장의 그래픽카드로 감당 가능하다. 양자화 버전은 장문 이해, Agent, 코드 작업에서 원본에 가까운 효과를 보이며 MTP를 켜면 디코딩 속도가 약 50%~60% 향상된다.
핵심 정보
- 텐센트 혼원이 295B 파라미터 Hy3 플래그십 모델 가중치를 1bit와 4bit로 양자화해 GGUF로 패키징했다.
- cpp 생태계와 결합해 원래 다중 카드 클러스터 배포가 필요했던 모델을 최소 96GB 추론 그래픽카드 한 장으로 실행할 수 있다.
- 1bit 버전은 가중치를 598GB에서 85.
- 5GiB로 압축했고,4bit 버전은 169.
- 9GiB로 두 장의 그래픽카드로 감당 가능하다.
한눈에 보기
추천 이유
将 295B 旗舰模型量化至单卡部署,1bit 版本在长文理解上仍接近满血,且提供 MTP 加速,改变了本地运行大模型的门槛与成本考量。
관련 엔티티
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: 텐센트 혼원, Hy3 플래그십 모델을 1bit·4bit로 양자화…단일 카드 배포 가능. 2026년 7월 14일. https://new.nat6.net/ko/news/cmsdu2uhb013orofz5u7hfmv2/