Датчик на базе искусственного интеллекта обнаруживает спектральные признаки в посевах и листьях с непревзойденной скоростью

Национальная лаборатория Лоуренса Беркли, Беркли, Калифорния

Ученые лаборатории Беркли разработали интеллектуальный датчик, который сначала «вынюхивает» интересующие спектральные особенности объектов-примеров — в данном случае типа урожая (вверху) или листа (внизу). Затем он ищет указанные цели в новой среде, которую он раньше не видел, избегая при этом громоздкой цифровой обработки. (Изображение:Али Джави/Лаборатория Беркли)

Инструменты спектральной визуализации — камеры, которые улавливают цвета, выходящие за пределы спектра RGB, видимого нашим глазам, — жизненно важны для сбора информации о материале и структурных свойствах объекта. Объединение их с машинным обучением позволило создать мощный инструмент для определения функций в реальных приложениях, включая производство полупроводников, отслеживание загрязняющих веществ и мониторинг урожая.

Включив алгоритмы искусственного интеллекта в сам датчик камеры, исследователи из Национальной лаборатории Лоуренса Беркли (Berkeley Lab) Министерства энергетики теперь устранили узкое место в обработке данных, которое долгое время мешало работе технологии спектральной визуализации. Результатом стал интеллектуальный датчик, способный быстро и эффективно идентифицировать химические вещества и определять характеристики материалов.

«Мы сосредоточились на повышении скорости, разрешения и энергоэффективности существующих технологий спектрального машинного зрения более чем на два порядка», — сказал Али Джави, ученый, возглавлявший исследование Science, сообщающее об устройстве. Джави — старший научный сотрудник лаборатории Беркли и профессор материаловедения и инженерии в Калифорнийском университете в Беркли. Работа была выполнена в тесном сотрудничестве с Айдоганом Озджаном из Калифорнийского университета в Лос-Анджелесе.

Конструкция датчика показывает, как новые функциональные возможности могут быть встроены в сами полупроводниковые устройства, чтобы повысить их эффективность и полезность, а также создать новый класс аппаратного обеспечения машинного зрения с искусственным интеллектом.

Сегодняшние технологии спектральной визуализации имеют отдельные сенсорные и вычислительные модули. Датчик сначала захватывает стопку изображений, каждое из которых соответствует определенному цвету. Затем плотный стек изображений отправляется в цифровой процессор для дальнейших вычислений, которые выдают результаты идентификации объекта. Вот тут и возникают проблемы.

«Датчики должны собирать и отправлять на цифровой процессор гораздо больше данных, чем обычные камеры, примерно в десять-сотню раз больше по объему», — сказал Дэхуэй Чжан, постдок в отделе материаловедения лаборатории Беркли и ведущий автор исследования. Следовательно, сенсор и компьютерное оборудование часто перегружены, что делает задачи распознавания объектов чрезвычайно медленными и энергоемкими.

Вместо этого команда лаборатории Беркли разработала датчики, которые выполняют вычисления искусственного интеллекта и спектральный анализ во время самого процесса захвата изображения или фотодетектирования.

«Фотодетектирование можно воспринимать как автоматический физический вычислительный процесс», — объяснил Чжан. Когда свет попадает на датчик, его интенсивность автоматически сопоставляется с силой электрического тока. Поскольку чувствительность датчика к свету можно легко регулировать, у исследователей есть ручка настройки, с помощью которой можно выбрать, какие спектральные характеристики выделять, а какие подавлять. Таким образом, ток, который выходит из датчика и считывается цепью, служит выводом о спектральном содержании изображения.

«Мы доказали, что вычислительный процесс математически напоминает алгоритм, обычно используемый для цифрового машинного обучения», — сказал Чжан. Эта аналогия позволила использовать датчик в качестве компьютера машинного обучения и выполнять вычисления машинного обучения над самим падающим светом.

«Для меня самой интересной частью является концепция предоставления интеллектуальных данных сенсорам», — сказал Джави. Обычные датчики просто собирают необработанную информацию об окружающей среде, оставляя задачи интеллектуального распознавания цифровым процессорам.

Совместно разрабатывая полупроводниковые материалы, устройства и алгоритмы, команда позволила датчикам обучаться и выполнять вычисления без необходимости цифровой постобработки данных.

Но применение этой технологии выходит далеко за рамки идентификации птиц. Используя фотодиоды черного фосфора, исследователи экспериментально продемонстрировали несколько других интригующих возможностей. Они успешно определили толщину оксидного слоя в образцах полупроводников, которые гигантам-производителям должны быть идеально однородными, а также состояния гидратации в листьях различных растений, сегментацию объектов на оптических изображениях и прозрачные химические вещества в чашках Петри.

«Я с оптимизмом смотрю в будущее таких устройств для более широкого применения», — сказал Джави. В будущем интеллектуальные датчики смогут найти применение не только в спектральном машинном зрении, но и в «других передовых оптических сенсорах и не только».

Для получения дополнительной информации обращайтесь:Этот адрес электронной почты защищен от спам-ботов. Для просмотра у вас должен быть включен JavaScript.