Unsloth percepat inferens tempatan Qwen3.8-Flash 1.7 kali
Tajuk asal:Qwen3.8-Flash can now run 1.7× faster locally with MTP!⚡️ GGUFs can reach 170 tokens/s on a RTX PRO...
Ringkasan AI
Unsloth melalui MTP (Multi-Token Prediction) mempercepatkan inferens tempatan Qwen3.8-Flash-Next kira-kira 1.3 hingga 1.7 kali tanpa perubahan ketepatan, dengan GGUF mencapai 170 tokens/s pada satu RTX PRO 6000 (garis dasar 100 tokens/s).
Maklumat penting
- Unsloth melalui MTP (Multi-Token Prediction) mempercepatkan inferens tempatan Qwen3.
- 8-Flash-Next kira-kira 1.
- 3 hingga 1.
- 7 kali tanpa perubahan ketepatan,dengan GGUF mencapai 170 tokens/s pada satu RTX PRO 6000 (garis…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- X:Unsloth (@UnslothAI)
- Kategori
- Produk & Aplikasi
- Skor AI
- 66
原文给出了 MTP 加速的具体倍数、显存门槛和各量化档位内存需求,读者可以据此判断自己的设备能否跑通。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Unsloth percepat inferens tempatan Qwen3.8-Flash 1.7 kali. 2 September 2026. https://new.nat6.net/ms/news/cmtyjea9r0005ro10eeudp015/