MNN se adapta a SME2 y permite inferencia en tiempo real de Qwen3-VL-4B en el dispositivo
Título original:端侧 AI 提速 80%?如何让 Qwen3-VL 在手机起飞
Resumen de IA
El motor de inferencia MNN se adaptó en profundidad al conjunto de instrucciones Arm SME2, lo que permite a Qwen3-VL-4B-Instruct realizar inferencia multimodal en tiempo real en el vivo X300, que admite SME2. El rendimiento mejora un 81% en la fase Prefill y un 13% en la fase Decode. MNN adopta un diseño de integración en tiempo de compilación y detección automática en tiempo de ejecución, con la aceleración SME2 activada por defecto. El modelo es un modelo de visión-lenguaje de 4B parámetros que admite comprensión de imágenes y texto y diálogo; el modelo ya convertido y cuantizado por MNN puede descargarse y desplegarse directamente, y los desarrolladores pueden activar la aceleración por hardware con un conmutador de compilación.
Puntos clave
- El motor de inferencia MNN se adaptó en profundidad al conjunto de instrucciones Arm SME2,lo que…
- El rendimiento mejora un 81% en la fase Prefill y un 13% en la fase Decode.
- MNN adopta un diseño de integración en tiempo de compilación y detección automática en tiempo de…
- El modelo es un modelo de visión-lenguaje de 4B parámetros que admite comprensión de imágenes y…
- el modelo ya convertido y cuantizado por MNN puede descargarse y desplegarse directamente,y los…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- 公众号:通义实验室(千问)
- Categoría
- Tutoriales y consejos
- Puntuación IA
- 79
这是一份硬核的端侧部署指南,实测数据让 Qwen3-VL 在 SME2 手机上 Prefill 提速超过 80%,做移动端 AI 的团队可以直接抄作业。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: MNN se adapta a SME2 y permite inferencia en tiempo real de Qwen3-VL-4B en el dispositivo. 11. junio 2026. https://new.nat6.net/es/news/cmqc6ibv400ktslt4e8zhjo27/