Инструменты Перемещение вверх по цепочке создания стоимости, чтобы скрыть тайну от видения AI

Преимущества добавления видения к повседневным товарам привлекли внимание многих отраслей и секторов. Но как на самом деле получить данные с камеры, встроить машинное обучение в устройство для выполнения алгоритма вывода и позволить обрабатывать что-то полезное?

Ответ, как и при проектировании любой системы, заключается в наличии правильного программного обеспечения, инструментов, библиотек, компиляторов и так далее. Неудивительно, что такие возможности обычно недоступны для неинженеров. Но даже разработчикам встроенных систем не хватает знаний и навыков, необходимых для проектирования систем технического зрения.

Одна из серьезных проблем - недостаточная осведомленность о программном обеспечении и инструментах, доступных для разработки встраиваемых систем технического зрения, как объяснил Джефф Бир, основатель Edge AI и Vision Alliance, на брифинге для EE Timesahead саммита по встраиваемым технологиям 2021 года . По словам Биера, несмотря на значительные инвестиции и исследования в области алгоритмов и микросхемы, программные инструменты, которые являются посредниками между ними - компиляторы, оптимизированные библиотеки функций и т. Д., - были в некоторой степени забыты.

Использование правильных программных инструментов, компиляторов и библиотек может дать очень эффективную реализацию алгоритма для конкретного микроконтроллера или процессора. Но «в течение последних 30 лет полупроводниковые компании обычно недостаточно инвестировали в программные инструменты», - сказал Бир, ветеран индустрии встроенных систем и, в частности, обработки сигналов. «[Программное обеспечение] часто рассматривается как неизбежное зло - это центр затрат в очень чувствительном к стоимости бизнесе - и это видно. Как разработчик встроенного программного обеспечения, вы можете сравнить доступные [вам] инструменты с тем, что есть у разработчиков ПК или облачных вычислений, и почувствовать себя нелюбимым пасынком ».

Выводя этот аргумент на новый уровень, он добавил:«Возможно, вы обладаете опытом встраиваемых систем, но есть вероятность, что эти разработчики никогда не работали с данными изображений или глубокими нейронными сетями».

«Навыки - это большая проблема», - сказал Бир. «Возможно, мы выполнили некоторые вычисления в электронной таблице и сказали:« Да, в нашем приложении можно запустить такую ​​глубокую нейронную сеть с достаточной производительностью ». Но знаем ли мы, как это сделать? У нас есть навыки? Для большинства организаций ответ будет отрицательным, потому что у них не было возможности использовать эту технологию в прошлом. Поскольку это относительно новая технология в коммерческом мире, у них нет опыта. В их компании нет отдела машинного обучения или отдела компьютерного зрения.

«За последние пару лет это превратилось в действительно серьезное препятствие для коммерческого применения компьютерного зрения и глубоких нейронных сетей - всего лишь ноу-хау».

Однако технология становится все более доступной, поскольку в последние пару лет компании стремились восполнить дефицит навыков. «Разрыв в знаниях и навыках был довольно большим, но становится все меньше», - сказал Бир, добавив, что «несколько компаний, одна большая и одна маленькая, возглавили обвинение в этом». Крупная компания - Intel; маленький - Edge Impulse.

«Intel часто производила на меня впечатление, что она идет вразрез с тенденцией и готова вкладывать большие средства в программные инструменты разными способами», - сказал Бир. «У них есть, например, цепочка инструментов OpenVINO для периферийного компьютерного зрения и вывода, а также DevCloud для Edge. Edge Impulse также является облачной средой. Разработчику встраиваемых систем такая [облачная среда] кажется странной. У них часто есть все на их столе - доска для разработчиков, рабочая станция, инструменты - и им даже не требуется подключение к Интернету. Все очень локально. Поэтому очень странно говорить:«Поместите свой код в облако» и запускайте инструменты в облаке ».

Тенденция учитывает время до развертывания, а также нехватку навыков. По словам Биера, частое разочарование разработчиков встраиваемых систем - получение доступа к доскам и инструментам и их правильная установка. Сроки «обычно измеряются неделями, иногда месяцами, и это болезненно, особенно если в конце вы понимаете, что это не то, что вам нужно, и вам нужно повторить процесс с некоторыми другими досками». Например, в конце процесса вы можете обнаружить, что «вам нужен следующий, с более высокой производительностью или другим набором интерфейсов ввода-вывода».

Но если поставщик «подключил все платы разработки в облаке к своим машинам и [может] получить к ним доступ по своему желанию, это дает огромное удобство. Точно так же у них есть последние версии программных инструментов, и они разобрали все зависимости между ними ».

Прокладывая путь к реализации видения
Итак, как ускорить развертывание встроенного машинного зрения, чтобы включить такие функции, как обнаружение и анализ объектов, будь то для умных городов, заводов, розничной торговли или любого другого приложения?

Осознав болевые точки, описанные Биром, компании обращаются к ним. Некоторые из них теперь предлагают такие инструменты, как облачные системы разработки, которые позволяют загружать свой код или данные и практически мгновенно получать оценки. Другие предоставляют эталонные проекты, которые позволяют вам просто подключить выход камеры и выбирать из библиотек или приложений, которые предоставляют алгоритмы вывода для общих приложений.

В бывшем лагере Intel DevCloud для Edge и Edge Impulse предлагают облачные платформы, которые снимают большинство проблем с легким доступом к новейшим инструментам и программному обеспечению. В последнем случае Xilinx и другие начали предлагать полные системы на модуле с готовыми к производству приложениями, которые можно развертывать с помощью инструментов на более высоком уровне абстракции, устраняя необходимость в некоторых из более специализированных навыков.

Прототип, эталонное тестирование и проверка вывода ИИ в облаке
Intel DevCloud for the Edge позволяет пользователям разрабатывать, прототипировать, тестировать и тестировать приложения логического вывода ИИ на разнообразном оборудовании Intel, включая процессоры, встроенные графические процессоры, FPGA и блоки обработки изображений (VPU). Благодаря интерфейсу Jupyter Notebook платформа содержит учебные пособия и примеры, предварительно загруженные со всем необходимым для быстрого начала работы. Сюда входят предварительно обученные модели, образцы данных и исполняемый код из последней версии дистрибутива Intel набора инструментов OpenVINO, а также другие инструменты для глубокого обучения. Все поддерживающие устройства настроены на оптимальную производительность и готовы к выполнению логического вывода.

Наиболее значительным преимуществом для разработчика является то, что платформа не требует настройки оборудования на стороне пользователя. Среда разработки Jupyter Notebook на основе браузера позволяет разработчикам запускать код из своих браузеров и мгновенно визуализировать результаты. Это позволяет им создавать прототипы решений компьютерного зрения в облачной среде Intel и наблюдать за тем, как их код запускается на любой комбинации доступных аппаратных ресурсов.

У этого облачного предложения есть три основных преимущества. Во-первых, он решает проблему паралича выбора оборудования. Разработчики могут запускать приложения ИИ удаленно на широком спектре оборудования, чтобы определить, какое из них лучше всего подходит для их решения, исходя из таких факторов, как время выполнения логического вывода, энергопотребление и стоимость.

Во-вторых, он предлагает немедленный удаленный доступ к новейшему периферийному оборудованию Intel. Что касается программного обеспечения, он решает проблему устаревшего программного обеспечения, поскольку обеспечивает мгновенный доступ к последней версии Intel Distribution of OpenVINO toolkit и совместимому периферийному оборудованию.

В-третьих, он предлагает доступ к тестам производительности для конкретных приложений в удобном для сравнения формате бок о бок.

(Учебное пособие по запуску моделей обнаружения объектов с помощью Intel DevCloud для Edge доступно здесь.)

Создайте модель в облаке и посмотрите, что произойдет вживую
Другой подход заключается в передаче данных в облачную платформу для визуализации и создания обучающих моделей и их развертывания на встроенных устройствах. Edge Impulse делает именно это, предлагая облачную среду разработки, цель которой - упростить добавление машинного обучения на периферийные устройства без необходимости получения степени доктора философии. в машинном обучении, по мнению компании.

Его платформа позволяет пользователям импортировать данные изображений, собранные в полевых условиях, быстро создавать классификаторы для интерпретации этих данных и развертывать модели обратно на производственные устройства с низким энергопотреблением. Ключом к веб-платформе Edge Impulse является возможность просматривать и маркировать все полученные данные, создавать блоки предварительной обработки для дополнения и преобразования данных, визуализировать набор данных изображения, а также классифицировать и проверять модели на обучающих данных прямо из пользовательского интерфейса.

Поскольку создать модель компьютерного зрения с нуля может быть довольно сложно, Edge Impulse использует процесс переноса обучения, чтобы упростить и ускорить обучение моделей. Это включает совмещение хорошо обученной модели и переобучение только верхних слоев нейронной сети, что приводит к созданию гораздо более надежных моделей, которые обучаются быстрее и работают с существенно меньшими наборами данных. После того, как модель спроектирована, обучена и проверена, ее можно будет развернуть обратно на устройство. Затем модель может работать на устройстве без подключения к Интернету со всеми присущими ей преимуществами, такими как минимизация задержки и работа с минимальным энергопотреблением. Полная модель упакована с этапами предварительной обработки, весами нейронной сети и кодом классификации в единую библиотеку C ++, которую можно включить во встроенное программное обеспечение.

Переход на более высокий уровень абстракции
Другой подход, предлагаемый поставщиками, заключается в сокращении времени разработки за счет предложения систем на основе модулей и обеспечения проектирования на более высоком уровне абстракции. Xilinx заявила, что ее новый подход «системы на модуле» (SOM) может сократить время разработки систем машинного зрения на девять месяцев за счет решения растущей сложности ИИ для машинного зрения, а также проблем, связанных с внедрением ИИ на периферии.

Xilinx недавно анонсировала первый продукт в своем новом портфеле SOM:Kria K26 SOM, специально предназначенный для приложений Vision AI в умных городах и умных фабриках, а также готовый к работе недорогой комплект для разработки Kria Стартовый комплект KV260 AI Vision.

Четан Хона, директор по промышленному производству, техническому видению и здравоохранению Xilinx, сказал на брифинге для прессы, посвященном запуску нового семейства модулей:«Готовые к производству системы важны для быстрого развертывания [встроенного искусственного интеллекта машинного зрения]. Заказчики могут сэкономить до девяти месяцев на разработке, используя модульную конструкцию, а не конструкцию на основе устройств ». Он добавил, что со стартовым комплектом пользователи могут приступить к работе в течение часа, «без необходимости иметь опыт работы с FPGA». Пользователи подключают камеру, кабели и монитор, вставляют запрограммированную карту microSD и включают плату, а затем могут выбрать и запустить ускоренное приложение по своему выбору.

Портфель Kria SOM объединяет аппаратную и программную платформу с готовыми к производству приложениями с ускоренным машинным зрением. Эти готовые приложения устраняют всю работу по проектированию оборудования FPGA; Разработчикам программного обеспечения необходимо только интегрировать свои собственные модели искусственного интеллекта и код приложения и, при необходимости, модифицировать конвейер видения, используя знакомые среды проектирования, такие как TensorFlow, Pytorch или фреймворки Café, а также языки программирования C, C ++, OpenCL и Python.

Kria SOM также обеспечивает настройку и оптимизацию для разработчиков встраиваемых систем с поддержкой стандартного PetaLinux на основе Yocto. Xilinx сказал, что сотрудничество с Canonical также продолжается, чтобы обеспечить поддержку Ubuntu Linux, очень популярного дистрибутива Linux, используемого разработчиками AI. Это обеспечивает широкое знакомство с разработчиками ИИ и возможность взаимодействия с существующими приложениями. Заказчики могут развиваться в любой среде и использовать любой подход к производству. Обе среды будут поставляться со встроенной программной инфраструктурой и полезными утилитами.

Мы выделили три подхода, которые используют поставщики для устранения пробелов в навыках и знаниях, а также времени развертывания для разработки встроенных систем технического зрения. Облачные подходы предлагают инструменты, которые «демократизируют» возможность создания и обучения моделей и оценки оборудования для чрезвычайно быстрого развертывания на встроенных устройствах. А подход, который предлагает модуль или эталонный дизайн с библиотекой приложений, позволяет разработчикам ИИ использовать существующие инструменты для быстрого создания встроенных систем технического зрения. Все это заставляет нас по-другому взглянуть на платы и инструменты для разработки. Они раскрывают тайну встроенного видения, продвигаясь вверх по цепочке создания стоимости, оставляя работу на базовом уровне инструментам и модулям поставщиков.

---

Связанное содержание :

• Встроенное видение на переломном этапе
• Пять тенденций в области Embedded Vision и Edge AI, на которые следует обратить внимание
• Смогут ли машины когда-нибудь полностью понять, что они видят?
• Xilinx SOM нацелен на более широкое внедрение периферийного ИИ и встроенного видения.
• Embedded Vision Summit:восприятие машинного обучения на крошечных ПЛИС
• GWM использует SoC Ambarella AI Vision для нового внедорожника.
• AImotive показывает эффективность краевого обзора 98% на Nextchip Apache5
• Плата технического зрения с низким энергопотреблением на основе искусственного интеллекта работает "годы" от одной батареи.
• OmniVision уменьшает размер медицинского датчика изображения для более глубокой эндоскопии.