Unsloth veröffentlicht 1-Bit-GGUF-Quantisierung von Mistral Le Chonk für lokalen Betrieb eines 1T-Parameter-Modells
Originaltitel:Mistral Le Chonk can now run locally!
KI-Zusammenfassung
Unsloth veröffentlicht das Dynamic 1-Bit-GGUF von Mistral Le Chonk (Mistral Large 4, 1T-Parameter-MoE, 52B aktiv), das lokal auf einer Mac Studio läuft und 91 % der Top-1-Genauigkeit beibehält, bei etwa 233 GB Größe (80 % kleiner als 1,1 TB FP8). Die Grafik nennt die Hardwareanforderungen je Quantisierungsstufe: 1-Bit benötigt 256-270 GB Arbeitsspeicher, das kleinste UD-IQ1_S belegt rund 233 GB Festplatte; zudem werden Text- und Bildeingaben, 1M Kontext und über 160 Sprachen unterstützt. GGUF und Anleitung unter huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF und unsloth.ai/docs/models/mistral-large-4.
Kernpunkte
- Unsloth veröffentlicht das Dynamic 1-Bit-GGUF von Mistral Le Chonk (Mistral Large…
- Die Grafik nennt die Hardwareanforderungen je Quantisierungsstufe: 1-Bit benötigt 256-270 GB…
- zudem werden Text- und Bildeingaben,1M Kontext und über 160 Sprachen unterstützt.
- GGUF und Anleitung unter huggingface.
- co/unsloth/Mistral-Large-4-1T-A52B-GGUF und unsloth.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- X:Unsloth (@UnslothAI)
- Kategorie
- Produkte & Apps
- KI-Bewertung
- 77
原文给出在 Mac Studio 上本地运行 1T 参数模型的量化方案和硬件需求表,读者可直接照做部署。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Unsloth veröffentlicht 1-Bit-GGUF-Quantisierung von Mistral Le Chonk für lokalen Betrieb eines 1T-Parameter-Modells. 29. Oktober 2026. https://new.nat6.net/de/news/rph54wkrnzjpvov4cv0mxqatl/