Mga produkto at aplikasyon

Pinabilis ng Unsloth ang local inference ng Qwen3.8-Flash nang 1.7 beses

Orihinal na pamagat:Qwen3.8-Flash can now run 1.7× faster locally with MTP!⚡️ GGUFs can reach 170 tokens/s on a RTX PRO...

AI summary

Sa pamamagitan ng MTP (Multi-Token Prediction), pinabilis ng Unsloth ang local inference ng Qwen3.8-Flash-Next nang humigit-kumulang 1.3 hanggang 1.7 beses nang walang pagbabago sa accuracy; ang GGUF ay umaabot sa 170 tokens/s sa isang RTX PRO 6000 (baseline 100 tokens/s).

Mahahalagang impormasyon

  • Sa pamamagitan ng MTP (Multi-Token Prediction),pinabilis ng Unsloth ang local inference ng Qwen3.
  • 8-Flash-Next nang humigit-kumulang 1.
  • 3 hanggang 1.
  • 7 beses nang walang pagbabago sa accuracy
  • ang GGUF ay umaabot sa 170 tokens/s sa isang RTX PRO 6000 (baseline 100 tokens/s).

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
X:Unsloth (@UnslothAI)
Kategorya
Mga produkto at aplikasyon
AI na marka
66
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

原文给出了 MTP 加速的具体倍数、显存门槛和各量化档位内存需求,读者可以据此判断自己的设备能否跑通。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Pinabilis ng Unsloth ang local inference ng Qwen3.8-Flash nang 1.7 beses. 2 Setyembre 2026. https://new.nat6.net/fil/news/cmtyjea9r0005ro10eeudp015/

Tingnan lahat →