Лаборатория Tongyi рассказала, как с помощью Arm SME2 и MNN ускорить Qwen3-VL на смартфонах
Оригинальный заголовок:端侧 AI 提速 80%?如何让 Qwen3-VL 在手机起飞
ИИ-резюме
Лаборатория Tongyi задействовала набор инструкций Arm SME2 и движок инференса MNN для обеспечения инференса Qwen3-VL-4B-Instruct в реальном времени на флагманских смартфонах с поддержкой SME2. В тестах включение SME2 ускорило этап Prefill на 81%, а этап Decode — на 13%. Поддержка SME2 в MNN реализована через встроенную при компиляции и автоматически определяемую при выполнении схему, поэтому разработчикам не требуется ручная настройка.
Ключевые моменты
- Лаборатория Tongyi задействовала набор инструкций Arm SME2 и движок инференса MNN для обеспечения…
- В тестах включение SME2 ускорило этап Prefill на 81%,а этап Decode — на 13%.
- Поддержка SME2 в MNN реализована через встроенную при компиляции и автоматически определяемую при…
Кратко
- Опубликовано
- Обновлено
- Источник
- 公众号:通义实验室(千问)
- Категория
- Туториалы и советы
- Оценка ИИ
- 72
将 SME2 加速拆解为从引擎编译到 APP 构建的完整流程,并给出 prefill 阶段 81% 提升的实测参考,为端侧多模态部署提供了可量化的工程路径。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Лаборатория Tongyi рассказала, как с помощью Arm SME2 и MNN ускорить Qwen3-VL на смартфонах. 11 июня 2026. https://new.nat6.net/ru/news/cmsdu3gxy0151rofz26y1o8vi/