Unsloth phát hành bản lượng tử hóa 1-bit GGUF của Mistral Le Chonk, có thể chạy cục bộ mô hình 1T tham số
Tiêu đề gốc:Mistral Le Chonk can now run locally!
Tóm tắt AI
Unsloth phát hành Dynamic 1-bit GGUF của Mistral Le Chonk (Mistral Large 4, MoE 1T tham số, 52B kích hoạt), có thể chạy cục bộ trên Mac Studio, giữ 91% độ chính xác top-1, dung lượng khoảng 233GB (nhỏ hơn 80% so với 1.1TB FP8). Hình ảnh nêu yêu cầu phần cứng cho từng mức lượng tử hóa, 1-bit cần 256-270GB bộ nhớ, bản UD-IQ1_S nhỏ nhất chiếm khoảng 233GB dung lượng đĩa, và hỗ trợ đầu vào văn bản và hình ảnh, ngữ cảnh 1M và hơn 160 ngôn ngữ. GGUF và hướng dẫn xem tại huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF và unsloth.ai/docs/models/mistral-large-4.
Thông tin chính
- Unsloth phát hành Dynamic 1-bit GGUF của Mistral Le Chonk (Mistral Large 4,MoE 1T tham số,52B kích…
- 1TB FP8).
- Hình ảnh nêu yêu cầu phần cứng cho từng mức lượng tử hóa,1-bit cần 256-270GB bộ nhớ,bản UD-IQ1_S…
- GGUF và hướng dẫn xem tại huggingface.
- co/unsloth/Mistral-Large-4-1T-A52B-GGUF và unsloth.
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- X:Unsloth (@UnslothAI)
- Danh mục
- Sản phẩm & ứng dụng
- Điểm AI
- 77
原文给出在 Mac Studio 上本地运行 1T 参数模型的量化方案和硬件需求表,读者可直接照做部署。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Unsloth phát hành bản lượng tử hóa 1-bit GGUF của Mistral Le Chonk, có thể chạy cục bộ mô hình 1T tham số. 29 tháng 10 2026. https://new.nat6.net/vi/news/rph54wkrnzjpvov4cv0mxqatl/