Туториалы и советы

Ускорение ИИ на устройствах: оптимизация Arm и Google AI Edge

Оригинальный заголовок:Accelerating on-device AI: A look at Arm and Google AI Edge optimization

ИИ-резюме

Второе поколение масштабируемых матричных расширений Arm (SME2) интегрировано со стеком программного обеспечения Google AI Edge, превращая CPU в мощный ускоритель матричных вычислений и обеспечивая высокопроизводительный генеративный ИИ на устройствах. На примере модели «stable-audio-open-small» от Stability AI в статье описан автоматизированный процесс аппаратного ускорения «преобразование, оптимизация, развёртывание», построенный на LiteRT, XNNPACK и KleidiAI. Решение позволило на мобильных устройствах и ноутбуках на архитектуре Arm добиться более чем двукратного ускорения генерации аудио и четырёхкратного сокращения использования памяти при сохранении высокого качества звука. Эта интеграция предлагает эффективный путь для производительного запуска сложных ИИ-моделей на периферийных устройствах с ограниченными ресурсами.

Ключевые моменты

  • Второе поколение масштабируемых матричных расширений Arm (SME2) интегрировано со стеком…
  • На примере модели «stable-audio-open-small» от Stability AI в статье описан автоматизированный…
  • Решение позволило на мобильных устройствах и ноутбуках на архитектуре Arm добиться более чем…
  • Эта интеграция предлагает эффективный путь для производительного запуска сложных ИИ-моделей на…

Кратко

Опубликовано
Обновлено
Источник
Google Developers Blog(RSS)
Категория
Туториалы и советы
Оценка ИИ
63
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

Google 和 Arm 在设备端 AI 上的联合优化案例很具体,给了开发者一套可复制的流程,2x 加速和 4x 内存节省对于做移动端生成式 AI 的人来说值得动手试一下。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Ускорение ИИ на устройствах: оптимизация Arm и Google AI Edge. 14 мая 2026. https://new.nat6.net/ru/news/cmp5onyyq0g18sljx0tw3l6ls/

Смотреть все →