Unsloth ускорила локальный инференс Qwen3.8-Flash в 1,7 раза
Оригинальный заголовок:Qwen3.8-Flash can now run 1.7× faster locally with MTP!⚡️ GGUFs can reach 170 tokens/s on a RTX PRO...
ИИ-резюме
Благодаря MTP (Multi-Token Prediction) Unsloth ускорила локальный инференс Qwen3.8-Flash-Next примерно в 1,3–1,7 раза без потери точности; GGUF достигает 170 tokens/s на одной RTX PRO 6000 против 100 tokens/s в базовом варианте.
Ключевые моменты
- Благодаря MTP (Multi-Token Prediction) Unsloth ускорила локальный инференс Qwen3.
- 8-Flash-Next примерно в 1,3–1,7 раза без потери точности
- GGUF достигает 170 tokens/s на одной RTX PRO 6000 против 100 tokens/s в базовом варианте.
Кратко
- Опубликовано
- Обновлено
- Источник
- X:Unsloth (@UnslothAI)
- Категория
- Продукты и приложения
- Оценка ИИ
- 66
原文给出了 MTP 加速的具体倍数、显存门槛和各量化档位内存需求,读者可以据此判断自己的设备能否跑通。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Unsloth ускорила локальный инференс Qwen3.8-Flash в 1,7 раза. 2 сентября 2026. https://new.nat6.net/ru/news/cmtyjea9r0005ro10eeudp015/