Produkte & Apps

Unsloth veröffentlicht 1-Bit-GGUF-Quantisierung von Mistral Le Chonk für lokalen Betrieb eines 1T-Parameter-Modells

Originaltitel:Mistral Le Chonk can now run locally!

KI-Zusammenfassung

Unsloth veröffentlicht das Dynamic 1-Bit-GGUF von Mistral Le Chonk (Mistral Large 4, 1T-Parameter-MoE, 52B aktiv), das lokal auf einer Mac Studio läuft und 91 % der Top-1-Genauigkeit beibehält, bei etwa 233 GB Größe (80 % kleiner als 1,1 TB FP8). Die Grafik nennt die Hardwareanforderungen je Quantisierungsstufe: 1-Bit benötigt 256-270 GB Arbeitsspeicher, das kleinste UD-IQ1_S belegt rund 233 GB Festplatte; zudem werden Text- und Bildeingaben, 1M Kontext und über 160 Sprachen unterstützt. GGUF und Anleitung unter huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF und unsloth.ai/docs/models/mistral-large-4.

Kernpunkte

  • Unsloth veröffentlicht das Dynamic 1-Bit-GGUF von Mistral Le Chonk (Mistral Large…
  • Die Grafik nennt die Hardwareanforderungen je Quantisierungsstufe: 1-Bit benötigt 256-270 GB…
  • zudem werden Text- und Bildeingaben,1M Kontext und über 160 Sprachen unterstützt.
  • GGUF und Anleitung unter huggingface.
  • co/unsloth/Mistral-Large-4-1T-A52B-GGUF und unsloth.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
X:Unsloth (@UnslothAI)
Kategorie
Produkte & Apps
Thema
ProduktupdatesOpen-Source-Ökosystem
KI-Bewertung
77
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

原文给出在 Mac Studio 上本地运行 1T 参数模型的量化方案和硬件需求表,读者可直接照做部署。

Themen

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Unsloth veröffentlicht 1-Bit-GGUF-Quantisierung von Mistral Le Chonk für lokalen Betrieb eines 1T-Parameter-Modells. 29. Oktober 2026. https://new.nat6.net/de/news/rph54wkrnzjpvov4cv0mxqatl/

Alle ansehen →