MNN адаптирован под SME2: Qwen3-VL-4B выводит на устройстве в реальном времени
Оригинальный заголовок:端侧 AI 提速 80%?如何让 Qwen3-VL 在手机起飞
ИИ-резюме
Движок инференса MNN глубоко адаптирован под набор инструкций Arm SME2, что позволило Qwen3-VL-4B-Instruct выполнять мультимодальный вывод в реальном времени на vivo X300 с поддержкой SME2. Производительность на этапе Prefill выросла на 81%, на этапе Decode — на 13%. MNN использует схему со встроенной поддержкой на этапе компиляции и автоопределением во время выполнения; ускорение SME2 включено по умолчанию. Модель представляет собой визуально-языковую модель с 4B параметров, поддерживает понимание изображений и текста и диалог; уже сконвертированную и квантованную модель можно скачать и развернуть через официальный MNN, а разработчики могут включить аппаратное ускорение одним флагом компиляции.
Ключевые моменты
- Движок инференса MNN глубоко адаптирован под набор инструкций Arm SME2,что позволило…
- Производительность на этапе Prefill выросла на 81%,на этапе Decode — на 13%.
- MNN использует схему со встроенной поддержкой на этапе компиляции и автоопределением во время…
- ускорение SME2 включено по умолчанию.
- Модель представляет собой визуально-языковую модель с 4B параметров,поддерживает понимание…
Кратко
- Опубликовано
- Обновлено
- Источник
- 公众号:通义实验室(千问)
- Категория
- Туториалы и советы
- Оценка ИИ
- 79
这是一份硬核的端侧部署指南,实测数据让 Qwen3-VL 在 SME2 手机上 Prefill 提速超过 80%,做移动端 AI 的团队可以直接抄作业。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: MNN адаптирован под SME2: Qwen3-VL-4B выводит на устройстве в реальном времени. 11 июня 2026. https://new.nat6.net/ru/news/cmqc6ibv400ktslt4e8zhjo27/