Sản phẩm & ứng dụng

Unsloth phát hành bản lượng tử hóa 1-bit GGUF của Mistral Le Chonk, có thể chạy cục bộ mô hình 1T tham số

Tiêu đề gốc:Mistral Le Chonk can now run locally!

Tóm tắt AI

Unsloth phát hành Dynamic 1-bit GGUF của Mistral Le Chonk (Mistral Large 4, MoE 1T tham số, 52B kích hoạt), có thể chạy cục bộ trên Mac Studio, giữ 91% độ chính xác top-1, dung lượng khoảng 233GB (nhỏ hơn 80% so với 1.1TB FP8). Hình ảnh nêu yêu cầu phần cứng cho từng mức lượng tử hóa, 1-bit cần 256-270GB bộ nhớ, bản UD-IQ1_S nhỏ nhất chiếm khoảng 233GB dung lượng đĩa, và hỗ trợ đầu vào văn bản và hình ảnh, ngữ cảnh 1M và hơn 160 ngôn ngữ. GGUF và hướng dẫn xem tại huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF và unsloth.ai/docs/models/mistral-large-4.

Thông tin chính

  • Unsloth phát hành Dynamic 1-bit GGUF của Mistral Le Chonk (Mistral Large 4,MoE 1T tham số,52B kích…
  • 1TB FP8).
  • Hình ảnh nêu yêu cầu phần cứng cho từng mức lượng tử hóa,1-bit cần 256-270GB bộ nhớ,bản UD-IQ1_S…
  • GGUF và hướng dẫn xem tại huggingface.
  • co/unsloth/Mistral-Large-4-1T-A52B-GGUF và unsloth.

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
X:Unsloth (@UnslothAI)
Danh mục
Sản phẩm & ứng dụng
Chủ đề
Cập nhật sản phẩmHệ sinh thái mã nguồn mở
Điểm AI
77
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

原文给出在 Mac Studio 上本地运行 1T 参数模型的量化方案和硬件需求表,读者可直接照做部署。

Chủ đề liên quan

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Unsloth phát hành bản lượng tử hóa 1-bit GGUF của Mistral Le Chonk, có thể chạy cục bộ mô hình 1T tham số. 29 tháng 10 2026. https://new.nat6.net/vi/news/rph54wkrnzjpvov4cv0mxqatl/

Xem tất cả →