튜토리얼 및 팁

통이랩, Arm SME2와 MNN으로 Qwen3-VL 모바일 단말 속도 향상 방법 상세 공개

원제목:端侧 AI 提速 80%?如何让 Qwen3-VL 在手机起飞

AI 요약

통이랩은 Arm SME2 명령어 세트와 MNN 추론 엔진을 활용해 SME2를 지원하는 플래그십 스마트폰에서 Qwen3-VL-4B-Instruct의 실시간 추론을 구현했다. 실측 결과 SME2 활성화 시 Prefill 단계가 81%, Decode 단계가 13% 향상됐다. MNN의 SME2 지원은 컴파일 시 내장과 런타임 자동 감지 설계를 채택해 개발자가 수동으로 설정할 필요가 없다.

핵심 정보

  • 통이랩은 Arm SME2 명령어 세트와 MNN 추론 엔진을 활용해 SME2를 지원하는 플래그십 스마트폰에서 Qwen3-VL-4B-Instruct의 실시간 추론을 구현했다.
  • 실측 결과 SME2 활성화 시 Prefill 단계가 81%,Decode 단계가 13% 향상됐다.
  • MNN의 SME2 지원은 컴파일 시 내장과 런타임 자동 감지 설계를 채택해 개발자가 수동으로 설정할 필요가 없다.

한눈에 보기

게시
업데이트
출처
公众号:通义实验室(千问)
카테고리
튜토리얼 및 팁
AI 점수
72
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

将 SME2 加速拆解为从引擎编译到 APP 构建的完整流程,并给出 prefill 阶段 81% 提升的实测参考,为端侧多模态部署提供了可量化的工程路径。

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: 통이랩, Arm SME2와 MNN으로 Qwen3-VL 모바일 단말 속도 향상 방법 상세 공개. 2026년 6월 11일. https://new.nat6.net/ko/news/cmsdu3gxy0151rofz26y1o8vi/

전체 보기 →