Pinabilis ng Unsloth ang local inference ng Qwen3.8-Flash nang 1.7 beses
Orihinal na pamagat:Qwen3.8-Flash can now run 1.7× faster locally with MTP!⚡️ GGUFs can reach 170 tokens/s on a RTX PRO...
AI summary
Sa pamamagitan ng MTP (Multi-Token Prediction), pinabilis ng Unsloth ang local inference ng Qwen3.8-Flash-Next nang humigit-kumulang 1.3 hanggang 1.7 beses nang walang pagbabago sa accuracy; ang GGUF ay umaabot sa 170 tokens/s sa isang RTX PRO 6000 (baseline 100 tokens/s).
Mahahalagang impormasyon
- Sa pamamagitan ng MTP (Multi-Token Prediction),pinabilis ng Unsloth ang local inference ng Qwen3.
- 8-Flash-Next nang humigit-kumulang 1.
- 3 hanggang 1.
- 7 beses nang walang pagbabago sa accuracy
- ang GGUF ay umaabot sa 170 tokens/s sa isang RTX PRO 6000 (baseline 100 tokens/s).
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- X:Unsloth (@UnslothAI)
- Kategorya
- Mga produkto at aplikasyon
- AI na marka
- 66
原文给出了 MTP 加速的具体倍数、显存门槛和各量化档位内存需求,读者可以据此判断自己的设备能否跑通。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Pinabilis ng Unsloth ang local inference ng Qwen3.8-Flash nang 1.7 beses. 2 Setyembre 2026. https://new.nat6.net/fil/news/cmtyjea9r0005ro10eeudp015/