Продукты и приложения

Unsloth выпустила 1-bit GGUF-квантование Mistral Le Chonk для локального запуска модели на 1T параметров

Оригинальный заголовок:Mistral Le Chonk can now run locally!

ИИ-резюме

Unsloth выпустила Dynamic 1-bit GGUF для Mistral Le Chonk (Mistral Large 4, MoE на 1T параметров, 52B активных), который можно локально запустить на Mac Studio: сохраняется 91% точности top-1, размер около 233 ГБ (на 80% меньше, чем 1.1 ТБ в FP8). На изображении приведены требования к оборудованию для разных уровней квантования: для 1-bit нужно 256–270 ГБ памяти, минимальный UD-IQ1_S занимает около 233 ГБ на диске; поддерживаются текстовый и графический ввод, контекст 1M и более 160 языков. GGUF и руководство доступны на huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF и unsloth.ai/docs/models/mistral-large-4.

Ключевые моменты

  • Unsloth выпустила Dynamic 1-bit GGUF для Mistral Le Chonk (Mistral Large 4,MoE на 1T…
  • 1 ТБ в FP8).
  • На изображении приведены требования к оборудованию для разных уровней квантования: для 1-bit нужно…
  • поддерживаются текстовый и графический ввод,контекст 1M и более 160 языков.
  • GGUF и руководство доступны на huggingface.

Кратко

Опубликовано
Обновлено
Источник
X:Unsloth (@UnslothAI)
Категория
Продукты и приложения
Тема
Обновления продуктовЭкосистема открытого кода
Оценка ИИ
77
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

原文给出在 Mac Studio 上本地运行 1T 参数模型的量化方案和硬件需求表,读者可直接照做部署。

Темы

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Unsloth выпустила 1-bit GGUF-квантование Mistral Le Chonk для локального запуска модели на 1T параметров. 29 октября 2026. https://new.nat6.net/ru/news/rph54wkrnzjpvov4cv0mxqatl/

Смотреть все →