チュートリアル

MNNがSME2に適応し、Qwen3-VL-4Bの端末側リアルタイム推論を実現

原題:端侧 AI 提速 80%?如何让 Qwen3-VL 在手机起飞

AI 要約

MNN推論エンジンがArm SME2命令セットに深く適応し、Qwen3-VL-4B-InstructがSME2対応のvivo X300上でリアルタイムのマルチモーダル推論を実現した。Prefill段階で性能が81%向上し、Decode段階で13%向上した。MNNはコンパイル時の組み込みと実行時の自動検出という設計を採用し、デフォルトでSME2加速を有効化している。同モデルは4Bパラメータの視覚言語モデルで、画像とテキストの理解および対話に対応する。MNN公式が変換・量子化済みのモデルを直接ダウンロードして展開でき、開発者はコンパイルスイッチでハードウェア加速をワンクリックで有効化できる。

要点

  • MNN推論エンジンがArm SME2命令セットに深く適応し、Qwen3-VL-4B-InstructがSME2対応のvivo X300上でリアルタイムのマルチモーダル推論を実現した。
  • Prefill段階で性能が81%向上し、Decode段階で13%向上した。
  • MNNはコンパイル時の組み込みと実行時の自動検出という設計を採用し、デフォルトでSME2加速を有効化している。
  • 同モデルは4Bパラメータの視覚言語モデルで、画像とテキストの理解および対話に対応する。
  • MNN公式が変換・量子化済みのモデルを直接ダウンロードして展開でき、開発者はコンパイルスイッチでハードウェア加速をワンクリックで有効化できる

概要

公開日時
更新日時
出典
公众号:通义实验室(千问)
カテゴリ
チュートリアル
AI スコア
79
原文を読む 情報源で全文を読む
おすすめの理由

这是一份硬核的端侧部署指南,实测数据让 Qwen3-VL 在 SME2 手机上 Prefill 提速超过 80%,做移动端 AI 的团队可以直接抄作业。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:MNNがSME2に適応し、Qwen3-VL-4Bの端末側リアルタイム推論を実現。2026年6月11日。https://new.nat6.net/ja/news/cmqc6ibv400ktslt4e8zhjo27/

すべて見る →