Добавление интернет-провайдера и ускорения машинного обучения в семейство i.MX 8M

Узнайте, как процессор приложений i.MX 8M Plus обеспечивает периферийные вычисления, ускоряя машинное обучение для различных приложений, включая промышленные.

Облачные вычисления, периферийные вычисления и системы машинного зрения захватывают все больше и больше промышленных и потребительских систем. Кроме того, многие современные системы используют машинное обучение и искусственный интеллект для улучшения взаимодействия с пользователем. Этот подход часто требует от разработчиков встроенных систем использования различных SoC и специализированных процессоров для выполнения всех этих задач.

Однако NXP решила использовать другой подход и объединила процессор сигналов изображения (ISP), нейронный процессор (NPU) для ускорения машинного обучения и MPU - все в одном устройстве:усовершенствованный i.MX 8M Plus. процессор приложений.

Рисунок 1. Процессор приложений i.MX 8M Plus.

Облачные вычисления и пограничные вычисления

Некоторый контекст необходим, чтобы понять, почему процессор приложений i.MX 8M Plus предлагает мощные решения для периферийных вычислений.

Облачные вычисления относятся к доступности ресурсов компьютерной системы по запросу за пределами сети пользователя. Эти ресурсы могут быть любыми. Однако они обычно используются для выполнения сложных задач и для хранения данных.

Часто облачные центры обработки данных не ограничиваются одним пользователем или организацией. Вместо этого ресурсы распределяются между всеми пользователями. Обычно в общедоступных облачных сервисах используется модель оплаты по мере использования, что означает, что стоимость может быстро возрасти, если ненужные или зашумленные данные загружаются для обработки в облаке.

Вот где могут пригодиться периферийные вычисления. Пограничные вычисления помещают некоторые ресурсы между пользователями и облаком в пределах их сети. Однако, как правило, не все вычисления выполняются на краю. Вместо этого ресурсы на границе используются для фильтрации данных и удаления нежелательных элементов до их загрузки в облако и создания ненужных затрат. Часто машинное обучение и искусственный интеллект используются для автоматической категоризации результатов и загрузки только релевантной информации в облако.

Однако также можно полностью отказаться от облака и выполнять все логические выводы машинного обучения локально на пограничном процессоре, например на процессоре приложений i.MX 8M Plus, что дает несколько преимуществ.

Возможные преимущества использования пограничных вычислений по сравнению с облачными вычислениями

Граничные вычисления (например, предоставляемые i.MX 8M Plus) предлагают множество возможных преимуществ по сравнению с облачными вычислениями, которые стоит рассмотреть более внимательно.

Помимо фактора стоимости, сокращение объемов данных, которые загружаются в облако, также уменьшит общий сетевой трафик, что может ускорить работу других приложений, зависящих от сети. Это не только повышает эффективность решения задач, которым специально предназначен процессор, но также освобождает критически важные ресурсы для других вспомогательных действий и приоритетов.

Далее, выполнение логического вывода локально означает, что приложение может продолжать работать, даже когда облачная служба отключена или когда сетевое соединение нарушено. Это может быть важным фактором, особенно для критически важных для безопасности случаев использования, но также и для других подключенных приложений, таких как устройства домашней безопасности.

Кроме того, это решение обеспечивает лучшую задержку и более короткое время отклика по сравнению с использованием облачной службы. Низкая задержка важна, например, при визуальном осмотре производственного цеха и других критичных по времени приложениях.

Наконец, еще одним фактором, который следует учитывать, является конфиденциальность пользователя. Любая внешняя служба представляет собой потенциальную угрозу безопасности при работе с конфиденциальными данными. Следовательно, хранение важной информации в пределах сети пользователя может повысить безопасность всего приложения. Это важно не только для промышленных пользователей, но и для частных пользователей и клиентов, например, при использовании голосового помощника или при работе с личными видео- и графическими файлами.

Сколько требуется производительности машинного обучения?

В облачных вычислениях производительность машинного обучения обычно не является проблемой или ограничивающим фактором. Однако при выполнении этих операций на краю возникает вопрос, сколько энергии требуется. Популярным способом измерения производительности машинного обучения является TOPS, который является аббревиатурой от триллиона (тера) операций в секунду, и, как следует из названия, относится к количеству (обычно 8-битных целочисленных операций умножения или накопления) операций в секунду. . Однако общая производительность системы будет зависеть от многих других факторов. Тем не менее TOPS по-прежнему часто используется для быстрого сравнения производительности систем машинного обучения.

Полное распознавание голоса (не только определение ключевых слов) на периферии требует производительности системы примерно от одного до двух TOPS. Реальные требования во многом зависят от используемого алгоритма и от того, важно ли понимать, что говорит пользователь. В качестве другого примера для обнаружения объектов со скоростью 60 кадров в секунду требуется от двух до трех TOPS при использовании такого алгоритма, как Yolov3.

Поскольку обработка и машинное обучение на периферии становятся все более и более актуальными, NXP добавила ускоритель машинного обучения с производительностью около 2,3 TOPS в процессор приложений i.MX 8M Plus, что делает его хорошо оснащенным для различных промышленных задач и многих других. приложений без необходимости использования внешних облачных сервисов.

Рисунок 2. Процессор приложений i.MX 8M Plus хорошо оборудован для различных промышленных задач, в которых используются внешние облачные сервисы.

i.MX 8M Plus готов для встраиваемых систем технического зрения

До сих пор в этой статье упоминались различные примеры приложений, для работы которых требуется камера. Одним из них была система технического зрения, которая удаляет неисправные детали в конце производственной линии после автоматизированного оптического контроля. Все такие системы требуют визуального ввода, например, изображений с камеры. Функциональность ISP присутствует в каждой системе на базе камеры. Часто процессор сигналов изображения присутствует во внешнем устройстве, таком как сама камера, и скрыт от пользователя. Такие интернет-провайдеры обычно берут на себя несколько различных задач по оптимизации и фильтрации изображений.

Во многих случаях можно обойтись без специального провайдера, например, при использовании простой веб-камеры USB. Затем интернет-провайдер обычно уже встроен в камеру, которая выполняет все необходимые преобразования без ведома пользователя.

Однако у таких интернет-провайдеров есть свои ограничения, и они обычно хорошо работают с разрешениями до двух мегапикселей. Кроме того, отсутствие контроля над интернет-провайдером, дополнительная сложность и повышенное энергопотребление могут быть проблематичными в некоторых случаях.

Когда требуется более высокое разрешение изображения, чем 2MP (1080p), разработчик встроенных систем может использовать внешнего поставщика услуг Интернета, что, в свою очередь, повысит общую сложность и энергопотребление системы. В качестве альтернативы разработчик может использовать процессор приложений со встроенным интернет-провайдером, например i.MX 8M Plus. Этот подход предлагает оптимизированное решение для обработки изображений, особенно с разрешением 2 мегапикселя и выше, без увеличения сложности системы.

Резюме

У пограничных вычислений есть несколько привлекательных преимуществ по сравнению с облачными вычислениями, и они могут изменить то, как мы будем работать, жить и проводить свободное время в будущем. Некоторые из преимуществ включают повышенную надежность, масштабируемость и безопасность, а также уменьшение задержки.

В процессоре приложений i.MX 8M Plus компания NXP объединила два фактора, которые позволяют создавать современные приложения на периферии. Этот новый MPU будет стимулировать разработку множества инновационных промышленных устройств и продуктов потребительского уровня. Он включает в себя поставщика услуг Интернета для создания современных систем технического зрения, которым требуются входные данные с высоким разрешением.

Информация об изображении от Интернет-провайдера может быть напрямую загружена во встроенный NPU для обеспечения работы высокоскоростных приложений, которые полагаются на данные изображений, при этом ЦП остается свободным для других задач. Кроме того, процессор приложений i.MX 8M Plus предлагает несколько других функций, на которые стоит обратить внимание, например, контроллер Ethernet с сетевым управлением, зависящим от времени, контроллер DRAM, поддерживающий ECC, и множество различных ядер для различных приложения.

С процессором приложений i.MX 8M Plus возможности для высокопроизводительных приложений машинного зрения на периферии практически безграничны, будь то концентратор умного дома, интеллектуальное управление зданием или промышленные приложения.

Отраслевые статьи - это форма контента, позволяющая отраслевым партнерам делиться полезными новостями, сообщениями и технологиями с читателями All About Circuits, что не подходит для редакционного контента. Все отраслевые статьи подлежат строгим редакционным правилам с целью предлагать читателям полезные новости, технические знания или истории. Точки зрения и мнения, выраженные в отраслевых статьях, принадлежат партнеру, а не обязательно All About Circuits или ее авторам.