Продукты и приложения

Unsloth ускорила локальный инференс Qwen3.8-Flash в 1,7 раза

Оригинальный заголовок:Qwen3.8-Flash can now run 1.7× faster locally with MTP!⚡️ GGUFs can reach 170 tokens/s on a RTX PRO...

ИИ-резюме

Благодаря MTP (Multi-Token Prediction) Unsloth ускорила локальный инференс Qwen3.8-Flash-Next примерно в 1,3–1,7 раза без потери точности; GGUF достигает 170 tokens/s на одной RTX PRO 6000 против 100 tokens/s в базовом варианте.

Ключевые моменты

  • Благодаря MTP (Multi-Token Prediction) Unsloth ускорила локальный инференс Qwen3.
  • 8-Flash-Next примерно в 1,3–1,7 раза без потери точности
  • GGUF достигает 170 tokens/s на одной RTX PRO 6000 против 100 tokens/s в базовом варианте.

Кратко

Опубликовано
Обновлено
Источник
X:Unsloth (@UnslothAI)
Категория
Продукты и приложения
Оценка ИИ
66
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

原文给出了 MTP 加速的具体倍数、显存门槛和各量化档位内存需求,读者可以据此判断自己的设备能否跑通。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Unsloth ускорила локальный инференс Qwen3.8-Flash в 1,7 раза. 2 сентября 2026. https://new.nat6.net/ru/news/cmtyjea9r0005ro10eeudp015/

Смотреть все →