MNN s'adapte à SME2 pour une inférence temps réel de Qwen3-VL-4B sur terminal
Titre original:端侧 AI 提速 80%?如何让 Qwen3-VL 在手机起飞
Résumé IA
Le moteur d'inférence MNN s'est profondément adapté au jeu d'instructions Arm SME2, permettant à Qwen3-VL-4B-Instruct de réaliser une inférence multimodale en temps réel sur un vivo X300 compatible SME2. Les performances progressent de 81 % en phase de prefill et de 13 % en phase de decode. MNN adopte une conception avec intégration à la compilation et détection automatique à l'exécution, l'accélération SME2 étant activée par défaut. Le modèle est un modèle vision-langage de 4B paramètres, capable de compréhension image-texte et de dialogue ; les modèles déjà convertis et quantifiés par MNN sont directement téléchargeables et déployables, et les développeurs peuvent activer l'accélération matérielle d'un simple commutateur de compilation.
Points clés
- Le moteur d'inférence MNN s'est profondément adapté au jeu d'instructions Arm SME2,permettant à…
- Les performances progressent de 81 % en phase de prefill et de 13 % en phase de decode.
- MNN adopte une conception avec intégration à la compilation et détection automatique à…
- Le modèle est un modèle vision-langage de 4B paramètres,capable de compréhension image-texte et de…
- les modèles déjà convertis et quantifiés par MNN sont directement téléchargeables et…
En bref
- Publié
- Mis à jour
- Source
- 公众号:通义实验室(千问)
- Catégorie
- Tutoriels et astuces
- Score IA
- 79
这是一份硬核的端侧部署指南,实测数据让 Qwen3-VL 在 SME2 手机上 Prefill 提速超过 80%,做移动端 AI 的团队可以直接抄作业。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : MNN s'adapte à SME2 pour une inférence temps réel de Qwen3-VL-4B sur terminal. 11. juin 2026. https://new.nat6.net/fr/news/cmqc6ibv400ktslt4e8zhjo27/