Как инновации инструментов упрощают Vision AI для встраиваемых систем

Интеграция зрения в повседневные продукты предлагает трансформационные выгоды для всех отраслей, однако извлечение данных камеры, внедрение моделей машинного обучения и доставка действенных инсайтов остаются сложными вызовами.

Ключ к успеху — выбор подходящего программного обеспечения, инструментов, библиотек и компиляторов. Эти ресурсы обычно недоступны не-инженерам, и даже многие встраиваемые разработчики не имеют специализированной экспертизы, необходимой для проектирования систем зрения.

Одной из главных препятствий является недостаток осведомленности о ПО и инструментах, облегчающих разработку встраиваемого зрения, как объяснил Джефф Бир, основатель Edge AI and Vision Alliance, в брифинге с EE Times перед Embedded Vision Summit 2021. Хотя значительные инвестиции и исследования ушли в алгоритмы и кремний, программные инструменты, посредствующие между ними — компиляторы, оптимизированные библиотеки функций и др. — были несколько пренебрежены, заметил Бир.

Использование правильных программных инструментов, компиляторов и библиотек может дать очень эффективную реализацию алгоритма для конкретного микроконтроллера или процессора. Но «за последние 30 лет полупроводниковые компании обычно недоинвестировали в программные инструменты», — сказал Бир, ветеран индустрии встраиваемых систем и обработки сигналов. «[ПО] часто рассматривается как необходимое зло — это центр затрат в очень чувствительном к стоимости бизнесе — и это видно. Как разработчик встраиваемого ПО, вы можете посмотреть на инструменты, доступные вам, в сравнении с тем, что есть у PC или облачных разработчиков, и почувствовать себя незалюбленным падчерицем».

Развивая этот аргумент, он добавил: «У вас может быть экспертиза во встраиваемых системах, но есть шанс, что эти разработчики никогда не работали с изображением или глубокими нейронными сетями».

Навыки — большая проблема, сказал Бир. «Мы могли сделать некоторые расчеты в таблицах и сказать: "Да, возможно запустить этот тип глубокой нейронной сети с достаточной производительностью в нашем приложении". Но знаем ли мы, как это сделать? Есть ли у нас навыки? Для большинства организаций ответ — нет, потому что у них не было возможности использовать эту технологию в прошлом. Поскольку это относительно новая технология в коммерческом мире, у них нет экспертизы. У них нет отдела машинного обучения или компьютерного зрения в компании».

В последние пару лет это превратилось в действительно большое узкое место для коммерческого применения компьютерного зрения и глубоких нейронных сетей — просто ноу-хау.

Технология становится более доступной, однако, так как компании стремились решить пробел в навыках за последние пару лет. «Пробел в знаниях и навыках был довольно большим, но становится меньше», — сказал Бир, добавив, что «пару компаний», одна большая и одна маленькая, «привели заряд на этом». Большая компания — Intel; маленькая — Edge Impulse.

«Intel часто впечатляла меня, идя против течения и готовая делать большие инвестиции в программные инструменты множеством способов», — сказал Бир. «У них есть, например, цепочка инструментов OpenVINO для пограничного компьютерного зрения и вывода, и DevCloud for the Edge. Edge Impulse — тоже облачная среда. Для встраиваемого разработчика это [облачная среда] кажется странной. Всё для них часто на столе — отладочная плата, рабочая станция, инструменты — и им даже не нужно интернет-соединение. Всё очень локально. Так что очень странно говорить: "Положите ваш код в облако" и запускайте инструменты в облаке».

Тренд адресует время развертывания так же, как и пробел в навыках. Частая фрустрация для встраиваемых разработчиков — получение доступа к платам и инструментам и их правильная установка, сказал Бир. Временная шкала «обычно измеряется в неделях, иногда в месяцах, и это больно, особенно если в конце вы понимаете, что это не то, что вам нужно, и вам нужно повторить процесс с другими платами». Например, вы можете обнаружить в конце, что «вам нужна следующая, с более высокой производительностью или другим набором I/O интерфейсов».

Но если поставщик «имеет все отладочные платы в облаке, подключенные к своим машинам и [может] обращаться к ним по желанию, это предлагат огромное удобство. Точно так же у них есть последние версии программных инструментов, и они разобрали все зависимости между ними».

Ускорение развертывания Vision AI

Так как же ускорить развертывание встраиваемого зрения для включения функций вроде обнаружения и анализа объектов, будь то для умных городов, заводов, ритейла или любого другого приложения?

Осознав описанные Бир болевые точки, компании адресуют их. Некоторые теперь предлагают инструменты вроде облачных систем разработки, позволяющих подать ваш код или данные и получить оценки практически мгновенно. Другие предоставляют референс-дизайны, позволяющие просто подключить выход камеры и выбрать из библиотек или приложений, предоставляющих алгоритмы вывода для распространенных приложений.

В первом лагере Intel DevCloud for the Edge и Edge Impulse предлагают облачные платформы, убирающие большинство болевых точек с легким доступом к последним инструментам и ПО. Во втором Xilinx и другие начали предлагать полные системы-на-модуле с готовыми к производству приложениями, которые можно развернуть с инструментами более высокого уровня абстракции, устраняя необходимость в некоторых более специализированных навыках.

Прототипирование, бенчмаркинг и тестирование AI-вывода в облаке

Intel DevCloud for the Edge позволяет пользователям разрабатывать, прототипировать, бенчмаркать и тестировать AI-приложения вывода на ряде железа Intel, включая CPU, интегрированные GPU, FPGA и vision processing units (VPU). С интерфейсом Jupyter Notebook платформа содержит туториалы и примеры, предзагруженные всем необходимым для быстрого старта. Это включает предобученные модели, образцы данных и исполняемый код из последней версии Intel Distribution of OpenVINO toolkit, а также другие инструменты для глубокого обучения. Все поддерживающие устройства настроены для оптимальной производительности и готовы к выполнению вывода.

Наибольшая выгода для разработчика — платформа не требует никакой настройки железа на стороне пользователя. Браузерная среда разработки Jupyter Notebook позволяет разработчикам запускать код из браузера и визуализировать результаты мгновенно. Это дает им возможность прототипировать решения компьютерного зрения в облаке Intel и смотреть, как их код работает на любой комбинации доступных аппаратных ресурсов.

Три основных выгоды этого облачного предложения. Во-первых, оно решает проблему паралича выбора железа. Разработчики могут запускать AI-приложения удаленно на широком спектре железа, чтобы определить, какое лучше для их решения, основываясь на факторах вроде времени выполнения вывода, потребления энергии и стоимости.

Во-вторых, оно предлагает немедленный удаленный доступ к последнему пограничному железу Intel. На стороне ПО оно решает проблему необходимости иметь дело с устаревшим ПО, так как предоставляет мгновенный доступ к последней версии Intel Distribution of OpenVINO toolkit и совместимому пограничному железу.

В-третьих, оно предлагает доступ к приложения-специфическим бенчмаркам производительности в легко-сравниваемом, бок-о-бок формате.

(Туториал по запуску моделей обнаружения объектов с использованием Intel DevCloud for the Edge доступен здесь.)

Создайте модель в облаке, посмотрите, что происходит вживую

Другой подход — подать данные в облачную платформу для визуализации и создания обучающих моделей и развертывания их на встраиваемых устройствах. Edge Impulse делает именно это, предлагая облачную среду разработки, цель которой — сделать простым добавление машинного обучения на пограничных устройствах без требования Ph.D. в машинном обучении, по словам компании.

Ее платформа позволяет пользователям импортировать образовые данные, собранные в поле, быстро строить классификаторы для интерпретации этих данных и развертывать модели обратно на производственные низкоэнергопотребляющие устройства. Ключ к веб-платформе Edge Impulse — способность просматривать и маркировать все полученные данные, создавать блоки предобработки для аугментации и трансформации данных, визуализировать образовый набор данных, классифицировать и валидировать модели на обучающих данных прямо из пользовательского интерфейса.

Поскольку построение модели компьютерного зрения с нуля может быть довольно сложным, Edge Impulse использует процесс переноса обучения, чтобы сделать его легче и быстрее. Это включает «прыжок» на хорошо обученную модель и переобучение только верхних слоев нейронной сети, ведущее к гораздо более надежным моделям, обучающимся за долю времени и работающим с существенно меньшими наборами данных. С спроектированной, обученной и верифицированной моделью становится возможным развернуть эту модель обратно на устройство. Модель затем может работать на устройстве без интернет-соединения, со всеми его неотъемлемыми выгодами, такими как минимизация латентности, и работает с минимальным потреблением энергии. Полная модель упакована с шагами предобработки, весами нейронной сети и кодом классификации в единую C++ библиотеку, которую можно включить в встраиваемое ПО.

Переход к более высокому уровню абстракции

Другой подход, предлагаемый вендорами — сократить время разработки, предлагая модульные системы и позволяя проектировать на более высоком уровне абстракции. Xilinx заявила, что ее новый подход systems-on-module (SOMs) может сократить до девяти месяцев время разработки систем зрения, адресуя растущую сложность в vision AI и вызовы внедрения AI на краю.

Xilinx недавно анонсировала первый продукт в своем новом портфолио SOMs: Kria K26 SOM, специально нацеленный на vision AI приложения в умных городах и умных заводах, вместе с готовым out-of-the-box дешевым набором разработки, Kria KV260 AI vision starter kit.

Четан Хона, директор по промышленности, зрению и здравоохранению в Xilinx, сказал на пресс-брифинге запуска новой семейства модулей: «Готовые к производству системы важны для быстрого развертывания [встраиваемого vision AI]. Клиенты могут сэкономить до девяти месяцев времени разработки, используя модульный дизайн вместо дизайна на уровне устройства». Он добавил, что со стартер-китом пользователи могут начать за час, «без опыта FPGA». Пользователи подключают камеру, кабели и монитор, вставляют запрограммированную microSD карту и включают плату, а затем могут выбрать и запустить ускоренное приложение по выбору.

Портфолио Kria SOM соединяет аппаратную и программную платформу с готовыми к производству vision-ускоренными приложениями. Эти turnkey-приложения устраняют всю работу по FPGA-аппаратному дизайну; программные разработчики должны только интегрировать свои кастомные AI-модели и прикладной код, и опционально модифицировать vision-пайплайн — используя знакомые среды дизайна, такие как TensorFlow, PyTorch или Caffe фреймворки, а также C, C++, OpenCL и Python языки программирования.

Kria SOMs также позволяют кастомизацию и оптимизацию для встраиваемых разработчиков с поддержкой стандартного Yocto-базированного PetaLinux. Xilinx сказала, что сотрудничество с Canonical также в процессе для предоставления поддержки Ubuntu Linux, высокопопулярного Linux-дистрибутива, используемого AI-разработчиками. Это предлагает широкую знакомость у AI-разработчиков и интероперабельность с существующими приложениями. Клиенты могут разрабатывать в любой среде и брать любой подход к производству. Обе среды будут предзагружены с программной инфраструктурой и полезными утилитами.

Мы подсветили три подхода, которые вендоры принимают для адресации пробела в навыках и знаниях, а также времени развертывания для разработки встраиваемых систем зрения. Облачные подходы предлагают инструменты, которые «демократизируют» способность создавать и обучать модели и оценивать железа для экстремально быстрого развертывания на встраиваемых устройствах. И подход, предлагающий модуль или референс-дизайн с библиотекой приложений, позволяет AI-разработчикам использовать существующие инструменты для быстрого создания встраиваемых систем зрения. Все это движет нас к другому способу взгляда на отладочные платы и инструменты. Они убирают тайну из встраиваемого зрения, поднимаясь по цепочке ценности, оставляя фундаментальную работу инструментам и модулям вендоров.

---

Связанный контент:

• Встраиваемое зрение на переломном моменте
• Пять трендов для наблюдения в встраиваемом видении и Edge AI
• Смогут ли машины когда-либо полностью понимать, что они видят?
• Xilinx SOM нацеливается на более широкое принятие edge AI и встраиваемого зрения
• Embedded Vision Summit: ML восприятие на крошечных FPGA
• GWM внедряет Ambarella AI vision SoC для нового SUV
• AImotive показывает 98% эффективности edge vision на Nextchip Apache5
• Низкоэнергопотребляющая AI vision плата работает «года» на одной батарее
• OmniVision уменьшает медицинский образный сенсор для более глубокой эндоскопии