Mempercepatkan AI pada peranti: amalan pengoptimuman Arm dan Google AI Edge
Tajuk asal:Accelerating on-device AI: A look at Arm and Google AI Edge optimization
Ringkasan AI
Sambungan Matriks Boleh Skala generasi kedua Arm (SME2) disepadukan dengan timbunan perisian Google AI Edge, mengubah CPU menjadi pemecut pengiraan matriks yang berkuasa, seterusnya merealisasikan AI generatif pada peranti berprestasi tinggi. Artikel ini menggunakan model "stable-audio-open-small" daripada Stability AI sebagai contoh, menerangkan aliran kerja pecutan perkakasan automatik "tukar, optimumkan, gunakan" yang dibina menggunakan LiteRT, XNNPACK dan KleidiAI. Penyelesaian ini berjaya mencapai kesan ketara iaitu kelajuan penjanaan audio meningkat lebih daripada 2 kali ganda dan penggunaan memori berkurang 4 kali ganda pada peranti mudah alih dan komputer riba berasaskan seni bina Arm, sambil memastikan kualiti audio yang tinggi. Penyelesaian integrasi ini menyediakan laluan berkesan untuk menjalankan model AI kompleks dengan cekap pada peranti tepi yang terhad sumber.
Maklumat penting
- Sambungan Matriks Boleh Skala generasi kedua Arm (SME2) disepadukan dengan timbunan perisian…
- Artikel ini menggunakan model "stable-audio-open-small" daripada Stability AI sebagai…
- Penyelesaian ini berjaya mencapai kesan ketara iaitu kelajuan penjanaan audio meningkat lebih…
- Penyelesaian integrasi ini menyediakan laluan berkesan untuk menjalankan model AI kompleks dengan…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- Google Developers Blog(RSS)
- Kategori
- Tutorial dan petua
- Skor AI
- 63
Google 和 Arm 在设备端 AI 上的联合优化案例很具体,给了开发者一套可复制的流程,2x 加速和 4x 内存节省对于做移动端生成式 AI 的人来说值得动手试一下。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Mempercepatkan AI pada peranti: amalan pengoptimuman Arm dan Google AI Edge. 14 Mei 2026. https://new.nat6.net/ms/news/cmp5onyyq0g18sljx0tw3l6ls/