Unsloth publie une quantification 1-bit GGUF de Mistral Le Chonk, permettant d'exécuter localement un modèle de 1T de paramètres
Titre original:Mistral Le Chonk can now run locally!
Résumé IA
Unsloth publie une quantification Dynamic 1-bit GGUF de Mistral Le Chonk (Mistral Large 4, MoE de 1T de paramètres, 52B activés), exécutable localement sur un Mac Studio. Elle conserve 91 % de la précision top-1 pour un volume d'environ 233 Go, soit 80 % de moins que les 1,1 To en FP8. Le tableau indique les besoins matériels par niveau de quantification : le 1-bit nécessite 256 à 270 Go de mémoire, et le plus petit UD-IQ1_S occupe environ 233 Go de disque. Le modèle prend en charge les entrées texte et image, un contexte de 1M et plus de 160 langues. Le GGUF et le guide sont disponibles sur huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF et unsloth.ai/docs/models/mistral-large-4.
Points clés
- Unsloth publie une quantification Dynamic 1-bit GGUF de Mistral Le Chonk (Mistral Large 4,MoE de…
- Elle conserve 91 % de la précision top-1 pour un volume d'environ 233 Go,soit 80 % de moins que…
- Le tableau indique les besoins matériels par niveau de quantification: le 1-bit nécessite 256 à…
- Le modèle prend en charge les entrées texte et image,un contexte de 1M et plus de 160 langues.
- Le GGUF et le guide sont disponibles sur huggingface.
En bref
- Publié
- Mis à jour
- Source
- X:Unsloth (@UnslothAI)
- Catégorie
- Produits et applications
- Score IA
- 77
原文给出在 Mac Studio 上本地运行 1T 参数模型的量化方案和硬件需求表,读者可直接照做部署。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Unsloth publie une quantification 1-bit GGUF de Mistral Le Chonk, permettant d'exécuter localement un modèle de 1T de paramètres. 29. octobre 2026. https://new.nat6.net/fr/news/rph54wkrnzjpvov4cv0mxqatl/