Tutoriels et astuces

MNN s'adapte à SME2 pour une inférence temps réel de Qwen3-VL-4B sur terminal

Titre original:端侧 AI 提速 80%?如何让 Qwen3-VL 在手机起飞

Résumé IA

Le moteur d'inférence MNN s'est profondément adapté au jeu d'instructions Arm SME2, permettant à Qwen3-VL-4B-Instruct de réaliser une inférence multimodale en temps réel sur un vivo X300 compatible SME2. Les performances progressent de 81 % en phase de prefill et de 13 % en phase de decode. MNN adopte une conception avec intégration à la compilation et détection automatique à l'exécution, l'accélération SME2 étant activée par défaut. Le modèle est un modèle vision-langage de 4B paramètres, capable de compréhension image-texte et de dialogue ; les modèles déjà convertis et quantifiés par MNN sont directement téléchargeables et déployables, et les développeurs peuvent activer l'accélération matérielle d'un simple commutateur de compilation.

Points clés

  • Le moteur d'inférence MNN s'est profondément adapté au jeu d'instructions Arm SME2,permettant à…
  • Les performances progressent de 81 % en phase de prefill et de 13 % en phase de decode.
  • MNN adopte une conception avec intégration à la compilation et détection automatique à…
  • Le modèle est un modèle vision-langage de 4B paramètres,capable de compréhension image-texte et de…
  • les modèles déjà convertis et quantifiés par MNN sont directement téléchargeables et…

En bref

Publié
Mis à jour
Source
公众号:通义实验室(千问)
Catégorie
Tutoriels et astuces
Score IA
79
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

这是一份硬核的端侧部署指南,实测数据让 Qwen3-VL 在 SME2 手机上 Prefill 提速超过 80%,做移动端 AI 的团队可以直接抄作业。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : MNN s'adapte à SME2 pour une inférence temps réel de Qwen3-VL-4B sur terminal. 11. juin 2026. https://new.nat6.net/fr/news/cmqc6ibv400ktslt4e8zhjo27/

Tout voir →