Облачные провайдеры ссылаются на роль, когда логический вывод ИИ перемещается на границу

Выполнение логического вывода ИИ на встроенных периферийных устройствах привлекательно в ситуациях, когда требуется низкая задержка или когда объемы данных, собранные на периферии, будут стоить слишком дорого для отправки в облако. Достижения в области специализированных ускорителей машинного обучения, современных микроконтроллеров, моделей и программного обеспечения искусственного интеллекта означают, что при ограниченном бюджете мощности можно сделать больше логических выводов, чем когда-либо прежде. Однако даже когда все выводы делаются на периферии, облако по-прежнему является полезным инструментом для управления устройствами в полевых условиях, говорят облачные провайдеры.

AWS IoT

На Embedded World Digital 2021 облачные провайдеры AWS и Microsoft представили свои экосистемные решения для периферийных устройств искусственного интеллекта.

«Запуск TensorFlow Light или моделей машинного обучения на самих устройствах - одна из возможностей, - сказал Раджив Муралидхар, главный архитектор специализированных решений в AWS. «Но возможность создать весь конвейер для жизненного цикла устройства безопасным способом, управлять ими в масштабе, возможность развертывать формальные обновления на устройствах, чтобы вы могли управлять версиями, работающими на них, обеспечивать более безопасную и расширенную функциональность, а также возможность обновлять работающие там модели машинного обучения - это еще одна важная возможность ».

AWS предоставляет для этого инфраструктуру через свою платформу AWS IoT. Эта платформа, по словам Муралидхара, состоит из трех основных частей - программного обеспечения на стороне устройства (FreeRTOS или AWS Greengrass), компонентов управления и подключения (AWS IoT Core) и аналитических сервисов.

AWS предлагает поддержку периферийных устройств AI через свою платформу IoT (Изображение:AWS)

FreeRTOS - широко используемая операционная система с открытым исходным кодом для устройств микроконтроллерного уровня. Он поставляется с долгосрочной поддержкой (RTS), которая гарантирует обновления безопасности, обновления функций и исправления ошибок в течение двух лет. Он также имеет возможности для безопасных обновлений по беспроводной сети и развертывания микропрограмм на устройствах в масштабах, которые были развернуты в полевых условиях. Ядро FreeRTOS может напрямую взаимодействовать со шлюзом устройства, на котором может работать AWS Greengrass.

AWS IoT Core - это точка входа данных в облако. Он включает в себя брокер сообщений, который может вводить правила в отношении данных, независимо от того, хранятся ли они, или перемещать их в базу данных или панель управления для анализа, например SageMaker для анализа машинного обучения.

Платформа AWS IoT также имеет компоненты для крупномасштабного управления парком устройств, управления устройствами и аналитики IoT, а также возможность управления событиями, которая может автоматизировать обнаружение событий, исходящих от ваших устройств IoT, и реагирование на них.

«Сквозное управление жизненным циклом устройств имеет решающее значение, когда вы думаете об устройствах в масштабе, и возможность обновления базовой операционной системы этих устройств также имеет решающее значение», - сказал Муралидхар. «Вы хотите иметь возможность делать это безопасно, вы хотите иметь возможность чередовать учетные данные безопасности, чтобы не подвергать риску безопасность вашего парка устройств».

По словам Муралидхара, идеальная ситуация - отправлять входящие данные в облако, чтобы можно было проводить непрерывную оценку и обучение.

«[Затем], когда у вас будут обновлены более новые модели, которые будут более точными, вы можете загрузить их в устройство и развернуть их на весь свой парк устройств в производственном цехе или на свой парк подключенных транспортных средств», - сказал он. «Таким образом, устройства, которые работают в ваших транспортных средствах, будут более функциональными и смогут реагировать быстрее и точнее».

Лазурное восприятие

На выставке Microsoft также представила свою новую концепцию Azure Percept. Azure Percept - это аппаратная и программная платформа для периферийного ИИ, которая использует преимущества некоторых облачных предложений Azure, включая управление устройствами, разработку моделей ИИ и аналитику. Облачные инструменты Azure используются для управления устройствами, доступа к моделям искусственного интеллекта с открытым исходным кодом или создания новых.

Платформа Microsoft Azure Percept - это как аппаратное, так и программное обеспечение. Оборудование включает модуль Trusted Platform Module (в центре), модуль Azure Percept Audio (слева) и модуль Azure Percept Vision (справа) (Изображение:Microsoft)

Компания также выпустила комплект для разработки оборудования с двумя модулями. Модуль Azure Percept Vision для компьютерного зрения на периферии основан на ускорителе Intel Movidius Myriad X AI. Существует также модуль Azure Percept Audio, но подробностей об этом модуле нет.

С помощью этого нового предложения Microsoft хочет предоставить комплексное решение, которое снижает барьеры для входа неспециалистов. Идея состоит в том, чтобы упростить разработку, обучение и развертывание периферийного ИИ.

Azure Percept также подключается к Центру Интернета вещей Azure, предназначенному для обеспечения безопасного обмена данными между устройствами Интернета вещей и облаком Azure.

В будущем Microsoft планирует расширить количество устройств Azure Percept, доступных от третьих лиц. После этого разработчики, использующие текущий комплект для разработки оборудования, смогут развернуть свое решение на доступных на рынке устройствах, сертифицированных Percept.

>> Эта статья была первоначально опубликована на наш дочерний сайт EE Times Europe.