Unsloth выпустила 1-bit GGUF-квантование Mistral Le Chonk для локального запуска модели на 1T параметров
Оригинальный заголовок:Mistral Le Chonk can now run locally!
ИИ-резюме
Unsloth выпустила Dynamic 1-bit GGUF для Mistral Le Chonk (Mistral Large 4, MoE на 1T параметров, 52B активных), который можно локально запустить на Mac Studio: сохраняется 91% точности top-1, размер около 233 ГБ (на 80% меньше, чем 1.1 ТБ в FP8). На изображении приведены требования к оборудованию для разных уровней квантования: для 1-bit нужно 256–270 ГБ памяти, минимальный UD-IQ1_S занимает около 233 ГБ на диске; поддерживаются текстовый и графический ввод, контекст 1M и более 160 языков. GGUF и руководство доступны на huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF и unsloth.ai/docs/models/mistral-large-4.
Ключевые моменты
- Unsloth выпустила Dynamic 1-bit GGUF для Mistral Le Chonk (Mistral Large 4,MoE на 1T…
- 1 ТБ в FP8).
- На изображении приведены требования к оборудованию для разных уровней квантования: для 1-bit нужно…
- поддерживаются текстовый и графический ввод,контекст 1M и более 160 языков.
- GGUF и руководство доступны на huggingface.
Кратко
- Опубликовано
- Обновлено
- Источник
- X:Unsloth (@UnslothAI)
- Категория
- Продукты и приложения
- Оценка ИИ
- 77
原文给出在 Mac Studio 上本地运行 1T 参数模型的量化方案和硬件需求表,读者可直接照做部署。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Unsloth выпустила 1-bit GGUF-квантование Mistral Le Chonk для локального запуска модели на 1T параметров. 29 октября 2026. https://new.nat6.net/ru/news/rph54wkrnzjpvov4cv0mxqatl/