Tutorial & Tips

MNN beradaptasi dengan SME2 sehingga Qwen3-VL-4B melakukan penalaran real-time di perangkat

Judul asli:端侧 AI 提速 80%?如何让 Qwen3-VL 在手机起飞

Ringkasan AI

Mesin inferensi MNN beradaptasi secara mendalam dengan set instruksi Arm SME2, sehingga Qwen3-VL-4B-Instruct dapat melakukan penalaran multimodal real-time pada vivo X300 yang mendukung SME2. Kinerja tahap Prefill meningkat 81%, sedangkan tahap Decode meningkat 13%. MNN memakai desain built-in saat kompilasi plus deteksi otomatis saat runtime, dengan akselerasi SME2 aktif secara default. Model ini adalah model bahasa-visual 4B parameter yang mendukung pemahaman gambar-teks dan percakapan; model terkuantisasi resmi MNN yang telah dikonversi dapat langsung diunduh dan diterapkan, dan pengembang dapat mengaktifkan akselerasi perangkat keras dengan satu sakelar kompilasi.

Poin utama

  • Mesin inferensi MNN beradaptasi secara mendalam dengan set instruksi Arm SME2,sehingga…
  • Kinerja tahap Prefill meningkat 81%,sedangkan tahap Decode meningkat 13%.
  • MNN memakai desain built-in saat kompilasi plus deteksi otomatis saat runtime,dengan akselerasi…
  • Model ini adalah model bahasa-visual 4B parameter yang mendukung pemahaman gambar-teks dan…
  • model terkuantisasi resmi MNN yang telah dikonversi dapat langsung diunduh dan diterapkan,dan…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
公众号:通义实验室(千问)
Kategori
Tutorial & Tips
Skor AI
79
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

这是一份硬核的端侧部署指南,实测数据让 Qwen3-VL 在 SME2 手机上 Prefill 提速超过 80%,做移动端 AI 的团队可以直接抄作业。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: MNN beradaptasi dengan SME2 sehingga Qwen3-VL-4B melakukan penalaran real-time di perangkat. 11 Juni 2026. https://new.nat6.net/id/news/cmqc6ibv400ktslt4e8zhjo27/

Lihat semua →