Unsloth merilis kuantisasi 1-bit GGUF Mistral Le Chonk, model 1T parameter dapat dijalankan secara lokal
Judul asli:Mistral Le Chonk can now run locally!
Ringkasan AI
Unsloth merilis Dynamic 1-bit GGUF untuk Mistral Le Chonk (Mistral Large 4, MoE 1T parameter, 52B aktif) yang dapat dijalankan secara lokal di Mac Studio, mempertahankan akurasi top-1 91%, dengan ukuran sekitar 233GB (80% lebih kecil dari 1,1TB FP8). Gambar menunjukkan kebutuhan perangkat keras untuk setiap tingkat kuantisasi; 1-bit membutuhkan memori 256-270GB, varian terkecil UD-IQ1_S memakan sekitar 233GB disk, serta mendukung input teks dan gambar, konteks 1M, dan 160+ bahasa. GGUF dan panduan tersedia di huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF dan unsloth.ai/docs/models/mistral-large-4.
Poin utama
- Unsloth merilis Dynamic 1-bit GGUF untuk Mistral Le Chonk (Mistral Large 4,MoE 1T parameter,52B…
- Gambar menunjukkan kebutuhan perangkat keras untuk setiap tingkat kuantisasi
- 1-bit membutuhkan memori 256-270GB,varian terkecil UD-IQ1_S memakan sekitar 233GB disk,serta…
- GGUF dan panduan tersedia di huggingface.
- co/unsloth/Mistral-Large-4-1T-A52B-GGUF dan unsloth.
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- X:Unsloth (@UnslothAI)
- Kategori
- Produk & Aplikasi
- Skor AI
- 77
原文给出在 Mac Studio 上本地运行 1T 参数模型的量化方案和硬件需求表,读者可直接照做部署。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Unsloth merilis kuantisasi 1-bit GGUF Mistral Le Chonk, model 1T parameter dapat dijalankan secara lokal. 29 Oktober 2026. https://new.nat6.net/id/news/rph54wkrnzjpvov4cv0mxqatl/