Tutorial dan petua

MNN menyesuaikan SME2 membolehkan Qwen3-VL-4B penaakulan masa nyata di peranti

Tajuk asal:端侧 AI 提速 80%?如何让 Qwen3-VL 在手机起飞

Ringkasan AI

Enjin inferens MNN disesuaikan secara mendalam dengan set arahan Arm SME2, membolehkan Qwen3-VL-4B-Instruct mencapai penaakulan multimodal masa nyata pada vivo X300 yang menyokong SME2. Prestasi fasa Prefill meningkat 81%, manakala fasa Decode meningkat 13%. MNN menggunakan reka bentuk terbina semasa kompilasi + pengesanan automatik semasa runtime, dengan pecutan SME2 diaktifkan secara lalai. Model ini ialah model bahasa visual 4B parameter yang menyokong pemahaman imej-teks dan dialog, dan model yang telah ditukar serta dikuantisasi secara rasmi oleh MNN boleh dimuat turun dan digunakan secara terus; pembangun boleh mengaktifkan pecutan perkakasan dengan satu suis kompilasi.

Maklumat penting

  • Enjin inferens MNN disesuaikan secara mendalam dengan set arahan Arm SME2,membolehkan…
  • Prestasi fasa Prefill meningkat 81%,manakala fasa Decode meningkat 13%.
  • MNN menggunakan reka bentuk terbina semasa kompilasi + pengesanan automatik semasa runtime,dengan…
  • Model ini ialah model bahasa visual 4B parameter yang menyokong pemahaman imej-teks dan dialog,dan…
  • pembangun boleh mengaktifkan pecutan perkakasan dengan satu suis kompilasi.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
公众号:通义实验室(千问)
Kategori
Tutorial dan petua
Skor AI
79
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

这是一份硬核的端侧部署指南,实测数据让 Qwen3-VL 在 SME2 手机上 Prefill 提速超过 80%,做移动端 AI 的团队可以直接抄作业。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: MNN menyesuaikan SME2 membolehkan Qwen3-VL-4B penaakulan masa nyata di peranti. 11 Jun 2026. https://new.nat6.net/ms/news/cmqc6ibv400ktslt4e8zhjo27/

Lihat Semua →