ИИ-датчик обнаруживает спектральные сигнатуры в культурах и листьях с беспрецедентной скоростью

Национальная лаборатория Лоуренса Беркли, Беркли, штат Калифорния

Ученые Беркли Лэб разработали интеллектуальный датчик, который сначала «нюхает» спектральные особенности интересующих объектов — здесь это тип культуры (сверху) или лист (снизу). Затем он ищет указанные цели в новой среде — которой он не видел ранее, избежав громоздкой цифровой обработки. (Изображение: Али Джавеи/Беркли Лэб)

Прорыв в спектральном изображении

Инструменты спектральной визуализации — камеры, фиксирующие цвета за пределами RGB-спектра, видимого глазом — жизненно важны для получения информации о материальных и структурных свойствах объектов. Их объединение с машинным обучением создало мощный конвейер для идентификации признаков в реальных приложениях, включая производство полупроводников, отслеживание загрязнителей и мониторинг сельскохозяйственных культур.

Встраивая алгоритмы ИИ непосредственно в сенсор камеры, исследователи Министерства энергетики США в Национальной лаборатории Лоуренса Беркли (Беркли Лэб) устранили узкое место обработки данных, которое долгое время ограничивало производительность технологий спектральной визуализации. Результатом стал интеллектуальный датчик, способный быстро и эффективно идентифицировать химические вещества и характеризовать материалы.

Два порядка улучшения

«Мы сосредоточились на повышении скорости, разрешения и энергоэффективности существующих технологий машиностроения спектрального зрения более чем на два порядка величины», — сказал Али Джавеи, ученый, возглавивший исследование, опубликованное в журнале Science. Джавеи является старшим научным сотрудником Беркли Лэб и профессором материаловедения и инженерии в UC Berkeley. Работа выполнялась в тесном сотрудничестве с Айдоганом Озджаном из UCLA.

Конструкция датчика демонстрирует, как новая функциональность может быть встроена в полупроводниковые устройства для повышения их эффективности и полезности, а также для создания нового класса аппаратного обеспечения ИИ-визии.

Проблема традиционных систем

Современные технологии спектральной визуализации имеют раздельные сенсорные и вычислительные модули. Сенсор сначала захватывает стопку изображений, каждое из которых соответствует определенному цвету. Затем плотный стек изображений отправляется на цифровой процессор для дальнейших вычислений, которые выдают результаты идентификации объектов. Именно здесь возникают проблемы.

«Датчики должны собирать и передавать на цифровой процессор гораздо больше данных, чем обычные камеры — примерно в десять-сто раз больше по объему», — сказал Дэхуй Чжан, постдокторант отдела материаловедения Беркли Лэб и главный автор исследования. Следовательно, аппаратное обеспечение сенсора и компьютера часто перегружаются, что делает задачи распознавания объектов крайне медленными и энергозатратными.

Вычисления на этапе фотоопределения

Вместо этого команда Беркли Лэб разработала датчики, выполняющие вычисления ИИ и спектральный анализ в процессе захвата изображения — или фотоопределения.

«Фотоопределение можно рассматривать как автоматический физический вычислительный процесс», — объяснил Чжан. Когда свет попадает на датчик, его интенсивность автоматически отображается на силу электрического тока. Поскольку отзывчивость датчика к свету легко регулируется, исследователи получают ручку настройки для выбора подсвечиваемых спектральных сигнатур и подавления остальных. Ток, покидающий датчик для считывания схемой, поэтому служит выводом о спектральном содержимом изображения.

«Мы доказали, что вычислительный процесс математически аналогичен алгоритму, обычно используемому для цифрового машинного обучения», — сказал Чжан. Эта аналогия сделала возможным использование датчика как компьютера машинного обучения и выполнение вычислений машинного обучения на входящем свете.

Интеллект в сенсоре

«Для меня самая захватывающая часть — это концепция наделения датчиков интеллектом», — сказал Джавеи. Обычные датчики просто собирают необработанную информацию об окружающей среде, оставляя задачи интеллектуального распознавания цифровым процессорам.

Совместно проектируя полупроводниковые материалы, устройства и алгоритмы, команда позволила датчикам обучаться и вычислять без необходимости цифровой постобработки данных.

Широкий спектр применений

Но применения технологии выходят далеко за рамки идентификации птиц. Используя фотодиоды из черного фосфора, исследователи экспериментально продемонстрировали несколько других интригующих возможностей. Им удалось идентифицировать толщину оксидных слоев в полупроводниковых образцах — которую гиганты производства должны поддерживать идеально равномерной — а также состояния гидратации в различных растительных листьях, сегментацию объектов на оптических изображениях и прозрачные химикаты в чашке Петри.

«Я оптимистичен насчет будущего таких устройств для более широких применений», — сказал Джавеи. В будущем умные датчики могут найти применение не только в спектральном машинном зрении, но и в «других передовых оптических сенсорах и далее».

Для получения дополнительной информации обратитесь по адресу: This email address is being protected from spambots. You need JavaScript enabled to view it..