产品与应用

Unsloth 发布 Mistral Le Chonk 1-bit GGUF 量化版,可本地运行 1T 参数模型

原文标题:Mistral Le Chonk can now run locally!

AI 摘要

Unsloth 发布 Mistral Le Chonk(Mistral Large 4,1T 参数 MoE,52B 激活)的 Dynamic 1-bit GGUF,可在 Mac Studio 上本地运行,保留 91% top-1 准确率,体积约 233GB(较 1.1TB FP8 小 80%)。图为各量化档位给出硬件需求,1-bit 需 256-270GB 内存,最小 UD-IQ1_S 约占 233GB 磁盘,并支持文本与图像输入、1M 上下文和 160+ 语言。GGUF 与指南见 huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF 和 unsloth.ai/docs/models/mistral-large-4。

关键信息

  • Unsloth 发布 Mistral Le Chonk(Mistral Large 4,1T 参数 MoE,52B 激活)的 Dynamic 1-bit GGUF,可在 Mac Studio 上本地…
  • 1TB FP8 小 80%)。
  • 图为各量化档位给出硬件需求,1-bit 需 256-270GB 内存,最小 UD-IQ1_S 约占 233GB 磁盘,并支持文本与图像输入、1M 上下文和 160+ 语言。
  • GGUF 与指南见 huggingface.
  • co/unsloth/Mistral-Large-4-1T-A52B-GGUF 和 unsloth.

速览

发布时间
更新时间
来源
X:Unsloth (@UnslothAI)
分类
产品与应用
主题
产品更新开源生态
AI 评分
77
阅读原文 前往信息源阅读完整正文
推荐理由

原文给出在 Mac Studio 上本地运行 1T 参数模型的量化方案和硬件需求表,读者可直接照做部署。

相关主题

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:Unsloth 发布 Mistral Le Chonk 1-bit GGUF 量化版,可本地运行 1T 参数模型。2026年10月29日。https://new.nat6.net/news/rph54wkrnzjpvov4cv0mxqatl/

查看全部 →