Unsloth, Mistral Le Chonk 1-bit GGUF 양자화 버전 출시…1T 파라미터 모델 로컬 실행 가능
원제목:Mistral Le Chonk can now run locally!
AI 요약
Unsloth가 Mistral Le Chonk(Mistral Large 4, 1T 파라미터 MoE, 52B 활성)의 Dynamic 1-bit GGUF를 출시했다. Mac Studio에서 로컬 실행이 가능하며 top-1 정확도 91%를 유지하고, 크기는 약 233GB로 1.1TB FP8 대비 80% 작다. 각 양자화 단계별 하드웨어 요구 사항도 제시됐는데, 1-bit는 256-270GB 메모리가 필요하고 최소 UD-IQ1_S는 약 233GB 디스크를 차지한다. 텍스트와 이미지 입력, 1M 컨텍스트, 160개 이상 언어를 지원한다. GGUF와 가이드는 huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF 및 unsloth.ai/docs/models/mistral-large-4에서 확인할 수 있다.
핵심 정보
- Unsloth가 Mistral Le Chonk(Mistral Large 4,1T 파라미터 MoE,52B 활성)의 Dynamic 1-bit GGUF를 출시했다.
- Mac Studio에서 로컬 실행이 가능하며 top-1 정확도 91%를 유지하고,크기는 약 233GB로 1.
- 1TB FP8 대비 80% 작다.
- 각 양자화 단계별 하드웨어 요구 사항도 제시됐는데,1-bit는 256-270GB 메모리가 필요하고 최소 UD-IQ1_S는 약 233GB 디스크를 차지한다.
- 텍스트와 이미지 입력,1M 컨텍스트,160개 이상 언어를 지원한다.
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 제품 및 앱
- AI 점수
- 77
原文给出在 Mac Studio 上本地运行 1T 参数模型的量化方案和硬件需求表,读者可直接照做部署。
관련 엔티티
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: Unsloth, Mistral Le Chonk 1-bit GGUF 양자화 버전 출시…1T 파라미터 모델 로컬 실행 가능. 2026년 10월 29일. https://new.nat6.net/ko/news/rph54wkrnzjpvov4cv0mxqatl/