Unsloth lancar Mistral Le Chonk kuantisasi 1-bit GGUF, model 1T parameter boleh dijalankan secara setempat
Tajuk asal:Mistral Le Chonk can now run locally!
Ringkasan AI
Unsloth melancarkan Dynamic 1-bit GGUF bagi Mistral Le Chonk (Mistral Large 4, MoE 1T parameter, 52B aktif) yang boleh dijalankan secara setempat pada Mac Studio, mengekalkan 91% ketepatan top-1 dengan saiz kira-kira 233GB (80% lebih kecil daripada 1.1TB FP8). Imej menunjukkan keperluan perkakasan bagi setiap tahap kuantisasi; 1-bit memerlukan 256-270GB memori, manakala UD-IQ1_S terkecil mengambil kira-kira 233GB cakera, serta menyokong input teks dan imej, konteks 1M dan lebih 160 bahasa. GGUF dan panduan tersedia di huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF dan unsloth.ai/docs/models/mistral-large-4.
Maklumat penting
- Unsloth melancarkan Dynamic 1-bit GGUF bagi Mistral Le Chonk (Mistral Large 4,MoE 1T parameter,52B…
- 1TB FP8).
- Imej menunjukkan keperluan perkakasan bagi setiap tahap kuantisasi
- 1-bit memerlukan 256-270GB memori,manakala UD-IQ1_S terkecil mengambil kira-kira 233GB…
- GGUF dan panduan tersedia di huggingface.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- X:Unsloth (@UnslothAI)
- Kategori
- Produk & Aplikasi
- Skor AI
- 77
原文给出在 Mac Studio 上本地运行 1T 参数模型的量化方案和硬件需求表,读者可直接照做部署。
Topik berkaitan
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Unsloth lancar Mistral Le Chonk kuantisasi 1-bit GGUF, model 1T parameter boleh dijalankan secara setempat. 29 Oktober 2026. https://new.nat6.net/ms/news/rph54wkrnzjpvov4cv0mxqatl/