Туториалы и советы

Лаборатория Tongyi рассказала, как с помощью Arm SME2 и MNN ускорить Qwen3-VL на смартфонах

Оригинальный заголовок:端侧 AI 提速 80%?如何让 Qwen3-VL 在手机起飞

ИИ-резюме

Лаборатория Tongyi задействовала набор инструкций Arm SME2 и движок инференса MNN для обеспечения инференса Qwen3-VL-4B-Instruct в реальном времени на флагманских смартфонах с поддержкой SME2. В тестах включение SME2 ускорило этап Prefill на 81%, а этап Decode — на 13%. Поддержка SME2 в MNN реализована через встроенную при компиляции и автоматически определяемую при выполнении схему, поэтому разработчикам не требуется ручная настройка.

Ключевые моменты

  • Лаборатория Tongyi задействовала набор инструкций Arm SME2 и движок инференса MNN для обеспечения…
  • В тестах включение SME2 ускорило этап Prefill на 81%,а этап Decode — на 13%.
  • Поддержка SME2 в MNN реализована через встроенную при компиляции и автоматически определяемую при…

Кратко

Опубликовано
Обновлено
Источник
公众号:通义实验室(千问)
Категория
Туториалы и советы
Оценка ИИ
72
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

将 SME2 加速拆解为从引擎编译到 APP 构建的完整流程,并给出 prefill 阶段 81% 提升的实测参考,为端侧多模态部署提供了可量化的工程路径。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Лаборатория Tongyi рассказала, как с помощью Arm SME2 и MNN ускорить Qwen3-VL на смартфонах. 11 июня 2026. https://new.nat6.net/ru/news/cmsdu3gxy0151rofz26y1o8vi/

Смотреть все →