MNN menyesuaikan SME2 membolehkan Qwen3-VL-4B penaakulan masa nyata di peranti
Tajuk asal:端侧 AI 提速 80%?如何让 Qwen3-VL 在手机起飞
Ringkasan AI
Enjin inferens MNN disesuaikan secara mendalam dengan set arahan Arm SME2, membolehkan Qwen3-VL-4B-Instruct mencapai penaakulan multimodal masa nyata pada vivo X300 yang menyokong SME2. Prestasi fasa Prefill meningkat 81%, manakala fasa Decode meningkat 13%. MNN menggunakan reka bentuk terbina semasa kompilasi + pengesanan automatik semasa runtime, dengan pecutan SME2 diaktifkan secara lalai. Model ini ialah model bahasa visual 4B parameter yang menyokong pemahaman imej-teks dan dialog, dan model yang telah ditukar serta dikuantisasi secara rasmi oleh MNN boleh dimuat turun dan digunakan secara terus; pembangun boleh mengaktifkan pecutan perkakasan dengan satu suis kompilasi.
Maklumat penting
- Enjin inferens MNN disesuaikan secara mendalam dengan set arahan Arm SME2,membolehkan…
- Prestasi fasa Prefill meningkat 81%,manakala fasa Decode meningkat 13%.
- MNN menggunakan reka bentuk terbina semasa kompilasi + pengesanan automatik semasa runtime,dengan…
- Model ini ialah model bahasa visual 4B parameter yang menyokong pemahaman imej-teks dan dialog,dan…
- pembangun boleh mengaktifkan pecutan perkakasan dengan satu suis kompilasi.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- 公众号:通义实验室(千问)
- Kategori
- Tutorial dan petua
- Skor AI
- 79
这是一份硬核的端侧部署指南,实测数据让 Qwen3-VL 在 SME2 手机上 Prefill 提速超过 80%,做移动端 AI 的团队可以直接抄作业。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: MNN menyesuaikan SME2 membolehkan Qwen3-VL-4B penaakulan masa nyata di peranti. 11 Jun 2026. https://new.nat6.net/ms/news/cmqc6ibv400ktslt4e8zhjo27/