Туториалы и советы

MNN адаптирован под SME2: Qwen3-VL-4B выводит на устройстве в реальном времени

Оригинальный заголовок:端侧 AI 提速 80%?如何让 Qwen3-VL 在手机起飞

ИИ-резюме

Движок инференса MNN глубоко адаптирован под набор инструкций Arm SME2, что позволило Qwen3-VL-4B-Instruct выполнять мультимодальный вывод в реальном времени на vivo X300 с поддержкой SME2. Производительность на этапе Prefill выросла на 81%, на этапе Decode — на 13%. MNN использует схему со встроенной поддержкой на этапе компиляции и автоопределением во время выполнения; ускорение SME2 включено по умолчанию. Модель представляет собой визуально-языковую модель с 4B параметров, поддерживает понимание изображений и текста и диалог; уже сконвертированную и квантованную модель можно скачать и развернуть через официальный MNN, а разработчики могут включить аппаратное ускорение одним флагом компиляции.

Ключевые моменты

  • Движок инференса MNN глубоко адаптирован под набор инструкций Arm SME2,что позволило…
  • Производительность на этапе Prefill выросла на 81%,на этапе Decode — на 13%.
  • MNN использует схему со встроенной поддержкой на этапе компиляции и автоопределением во время…
  • ускорение SME2 включено по умолчанию.
  • Модель представляет собой визуально-языковую модель с 4B параметров,поддерживает понимание…

Кратко

Опубликовано
Обновлено
Источник
公众号:通义实验室(千问)
Категория
Туториалы и советы
Оценка ИИ
79
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

这是一份硬核的端侧部署指南,实测数据让 Qwen3-VL 在 SME2 手机上 Prefill 提速超过 80%,做移动端 AI 的团队可以直接抄作业。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: MNN адаптирован под SME2: Qwen3-VL-4B выводит на устройстве в реальном времени. 11 июня 2026. https://new.nat6.net/ru/news/cmqc6ibv400ktslt4e8zhjo27/

Смотреть все →