Produk & Aplikasi

Unsloth percepat inferens tempatan Qwen3.8-Flash 1.7 kali

Tajuk asal:Qwen3.8-Flash can now run 1.7× faster locally with MTP!⚡️ GGUFs can reach 170 tokens/s on a RTX PRO...

Ringkasan AI

Unsloth melalui MTP (Multi-Token Prediction) mempercepatkan inferens tempatan Qwen3.8-Flash-Next kira-kira 1.3 hingga 1.7 kali tanpa perubahan ketepatan, dengan GGUF mencapai 170 tokens/s pada satu RTX PRO 6000 (garis dasar 100 tokens/s).

Maklumat penting

  • Unsloth melalui MTP (Multi-Token Prediction) mempercepatkan inferens tempatan Qwen3.
  • 8-Flash-Next kira-kira 1.
  • 3 hingga 1.
  • 7 kali tanpa perubahan ketepatan,dengan GGUF mencapai 170 tokens/s pada satu RTX PRO 6000 (garis…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
X:Unsloth (@UnslothAI)
Kategori
Produk & Aplikasi
Skor AI
66
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

原文给出了 MTP 加速的具体倍数、显存门槛和各量化档位内存需求,读者可以据此判断自己的设备能否跑通。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Unsloth percepat inferens tempatan Qwen3.8-Flash 1.7 kali. 2 September 2026. https://new.nat6.net/ms/news/cmtyjea9r0005ro10eeudp015/

Lihat Semua →