Визуализация ценности со скоростью света

Мировой индустрии контроля качества пищевых продуктов нужны новые и более точные инструменты, отвечающие строгим государственным нормам. В 2021 году рынок тестирования на безопасность пищевых продуктов, от специальных культур до морепродуктов, мяса и птицы, оценивается в 19,5 млрд долларов США, а к 2026 году он, по прогнозам, достигнет 28,6 млрд долларов ¹ . . Это один из примеров, когда гиперспектральная визуализация (HSI) представляет собой инструмент, который может облегчить утомительные и трудоемкие задачи, а также вывести на новый уровень согласованности некоторые исторически субъективные приложения для оценивания.

Первоначально разработанный для приложений дистанционного зондирования, использующих изображения с самолетов и спутников, HSI с тех пор стал коммерчески жизнеспособным методом для передовых приложений машинного зрения. Сенсоры HSI действуют как тысячи или миллионы спектрометров, обеспечивая химические характеристики отраженного света в каждом пикселе изображения. Датчики Headwall могут быть настроены на диапазоны длин волн, недоступные человеческому глазу, от ультрафиолетового и видимого (UV и VIS) до ближнего инфракрасного (VNIR, NIR и SWIR) диапазонов длин волн.

Датчики гиперспектральной визуализации могут различать спектральные характеристики, ускользающие от человеческого глаза, и обычные цветные изображения. Эти функции могут обнаруживать потенциально вредные посторонние вещества и предоставлять средства для сортировки и классификации материалов, таких как пищевые продукты, ценность которых часто связана с характеристиками, которые часто лучше и более последовательно измеряются системой HSI, чем человек, который подвержен усталости или Эффект от такой простой вещи, как изменение количества кофе каждый день 2.

Системы, использующие HSI, столкнулись со значительными препятствиями при промышленном развертывании из-за необходимости обработки сравнительно больших объемов необработанных данных и решения относительной сложности разработки модели спектральной классификации. Однако более новые платформы HSI, такие как система визуализации Hyperspec® MV.X компании Headwall, сочетают в себе высокопроизводительный спектрометр визуализации с мощными встроенными вычислениями и программным обеспечением для быстрого создания моделей спектральной классификации для извлечения действенных результатов в режиме реального времени и отправки инструкций по локальной сети в принять меры или собрать данные мониторинга и контроля.

Другой взгляд на вещи

Человеческий глаз, каким бы способным он ни был, может обнаруживать только изображения, попадающие в спектр видимого света между 400 и 700 нм. В этом диапазоне есть только три цвета, которые попадают в широкие области RGB (красный, зеленый или синий), и цветовая чувствительность и восприятие каждого человека сильно различаются. Тем не менее, индустрия инспекции пищевых продуктов веками зависела от людей и датчиков RGB для обнаружения проблем и оценки продуктов. К ним относятся посторонние предметы, пропущенные ранее в процессе сбора урожая, и даже трудно обнаруживаемые болезненные состояния, которые могут быть в значительной степени невидимы для любого из этих традиционных методов. Ставки высоки:предпочтения потребителей, способность соблюдать новые правительственные постановления и стоимость корпоративных акционеров могут зависеть от точности и эффективности того, как осуществляется контроль во всех аспектах пищевой промышленности.

Датчики «спектрального изображения» можно разделить на две категории. Мультиспектральные датчики включают в себя несколько спектральных диапазонов, от четырех до десятков, тогда как гиперспектральные датчики обеспечивают гораздо более детализированный вид (то есть с высоким спектральным разрешением), поскольку они могут захватывать буквально сотни спектральных диапазонов одновременно. Обе модели дают гораздо более полную картину проверяемых пищевых продуктов, поскольку они выходят далеко за рамки простой парадигмы RGB, которая так широко и традиционно используется.

Люди видят цвета как комбинации красного (1), зеленого (2) и синего (3) цветов в очень небольшой области электромагнитного спектра. Добавление полос 4 и 5 представляет собой мультиспектральный пример, в котором захвачено и проанализировано более 3 областей спектра. Гиперспектральная визуализация использует сотни полос спектра вместо нескольких. Это обеспечивает высокую производительность точечного спектрометра, но для каждого пикселя изображения, которое может состоять из миллионов пикселей.

«Усовершенствованная» система машинного зрения для целей данного обсуждения может состоять из одного или нескольких датчиков спектрального изображения, подходящего источника освещения и компьютера, который собирает данные изображения при обмене данными с нижестоящей робототехникой. Датчик представляет данные изображения на компьютер в режиме реального времени, и эти данные изображения затем отправляются в систему робототехники. Система робототехники интерпретирует изображение и сразу понимает, что делать, основываясь на алгоритмах и инструкциях. В некоторых случаях он может просто захватить и удалить фрагмент постороннего материала (пройдено/не пройдено). В других случаях определенные цвета продукта направляются на другую линию для дальнейшей обработки («сортировка продукта»). Для приложений по переработке он может классифицировать разные, но похожие типы пластика на высокоскоростных линиях.

Гиперспектральный датчик — это не отдельное устройство, а важная и очень точная часть всей передовой системы машинного зрения. По одной оценке ³ , машинное зрение использовалось менее чем в 20% приложений, для которых оно потенциально полезно. Поэтому имеет смысл обсудить, как эта мощная технология визуализации может улучшить процессы контроля и сделать их экономически более эффективными.

Датчик HSI можно рассматривать как «новый набор глаз», действующий как часовой, стоящий на страже линий контроля, как бы долго не длился типичный производственный цикл. Его способность «общаться» с другими элементами системы является важной причиной, по которой гиперспектральное зондирование считается новым инструментом для отрасли, способным намного превосходить единицы RGB.

Гиперспектральный датчик с «метлой» захватывает изображения путем построчного сканирования через щель (слева), каждая строка содержит пиксели, сохраняющие спектральные характеристики объекта (в центре). По мере того, как датчик перемещается относительно сканируемой области или объекта, создается набор данных (справа). Результирующий набор данных можно рассматривать как стек, где каждый слой представляет определенную «полосу» (небольшой диапазон длин волн). Пиксели сшиваются вместе, чтобы сформировать изображение, в котором каждый пиксель содержит не только обычные значения RGB, но и сотни значений в диапазоне длин волн датчика.

Основная функция гиперспектрального датчика состоит в захвате отдельных срезов входящей сцены через физическую щель в случае конструкции «метелки» и разбиении каждого среза на дискретные компоненты длины волны, которые затем представляются в матрицу фокальной плоскости (FPA). . Дифракционная решетка решает задачу разделения срезов изображения на дискретные составляющие длины волны. Решетка спроектирована с точным профилем канавки, чтобы поддерживать пространственную когерентность в одном измерении (длина щели изображения) и вызывать дифракцию пространственной информации (ширина щели в микронах). Этот процесс дифракции (дисперсии) позволяет спектральному содержимому пересекаться с каналами с известными длинами волн на датчике.

Используемая компанией Headwall технология спектрального линейного сканирования с полностью отражающей щеткой фиксирует спектральную линию (пространственную по оси X и спектральную по оси Z) в каждом «кадре». Последовательные кадры создают пространственное измерение Y. Конструкция с веерным сканированием предпочтительнее из-за ее способности обеспечивать низкий уровень искажений при очень высоком пространственном и спектральном разрешении. Высокая пропускная способность означает высокое отношение сигнал/шум и очень низкий уровень рассеянного света. Поскольку это полностью отражающая конструкция, проблемы хроматической дисперсии устранены.

Если смотреть через щель гиперспектрального датчика, мы видим только пространственную полосу, которую пропускает щель. Это будет эквивалентно одному столбцу пикселей. Вы по-прежнему можете видеть пространственные детали изображения, но только по одной полосе за раз. В каждой щели много цветов. Система HSI разделяет свет в каждом пространственном пикселе на разные цвета в этом пикселе. Каждый раз, когда камера делает снимок щели, она получает полный кадр спектральных данных для каждого пикселя. Складывая каждое спектральное изображение щели по мере пересечения сцены, мы строим куб гиперспектральных данных. По мере того, как датчик перемещается по сцене слева направо, передовое программное обеспечение для гиперспектральной обработки может делать набор изображений и объединять их вместе, чтобы получить полный «куб данных».

Одной из характеристик спектрального изображения, которая делает его идеальным для передовых приложений машинного зрения, является движение. Поскольку датчики захватывают данные изображения кадр за кадром, они, естественно, зависят от возникновения движения. Датчик либо должен перемещаться по полю зрения (как если бы он был прикреплен к дрону или летательному аппарату в приложениях дистанционного зондирования), либо поле зрения должно перемещаться под датчиком (как это было бы при развертывании расширенного машинного зрения). ).

Сообщество специалистов в области точного земледелия использует как гиперспектральные, так и мультиспектральные датчики в качестве полезной нагрузки для дронов и самолетов, летающих над посевами. Эти датчики собирают множество жизненно важных сельскохозяйственных данных с учетом таких индексов, как NDVI, PRI, WBI, Red Edge Ratio и многих других. Жизнеспособность сельскохозяйственных культур, эффективность удобрения и орошения, а также ранние признаки инвазивных видов и болезней можно увидеть в сотнях диапазонов датчика видимого и ближнего инфракрасного (VNIR), который «видит» в диапазоне от 400 до 1000 нм.

Гиперспектральные датчики можно размещать вдоль производственной линии и подключать к роботам, которые предпринимают соответствующие действия на основе анализа в реальном времени, выполняемого встроенными процессорами самих сенсорных систем.

Вдоль высокоскоростного конвейера может быть собран тот же уровень значимых данных, что положительно повлияет на процесс проверки. Характеристики частоты кадров и поля зрения таковы, что датчики более чем способны отслеживать широкие линии, работающие на высоких скоростях. Высокий уровень различения, обеспечиваемый HSI, означает, что даже трудноразличимые аномалии выявляются и устраняются. Голубику на клубничном поле легко отличить, но как насчет мельчайших различий в цвете или химическом составе одного и того же урожая или похожих на вид переработанных материалов? Только гиперспектральный может различить эти невидимые различия.

Конструкция датчика HSI

Световые лучи, попадающие в щель гиперспектрального датчика, разделяются на спектр цвета, как в радуге, в данном случае с помощью голографической решетки с очень мелкими бороздками. Спектр попадает на двумерный фотодатчик. Программное обеспечение преобразует уровень сигнала в каждом светочувствительном пикселе в спектральную кривую в каждом пикселе изображения по мере перемещения датчика относительно сканируемого объекта.

Хотя датчики HSI иногда называют «камерами», на самом деле они представляют собой сочетание спектрометров и камер. Датчики Headwall основаны на полностью отражающей конструкции, не имеющей движущихся частей или потенциально нарушающих пропускающую оптику. Это достигается за счет использования голографических дифракционных решеток, которые управляют входящим светом, проходящим через щель изображения. Решетки не только исключительно точны, но и малы и легки. Это позволяет самим приборам быть небольшими и легкими для удобного развертывания в любом месте.

Headwall — единственный производитель спектральных датчиков, который также производит собственные дифракционные решетки. Каждая решетка имеет «высшее качество», что означает идентичные профили канавок от одной к другой для данного приложения. Поскольку основные оптические характеристики датчика зависят от решетки, эта способность представляет собой истинное отличие. Гиперспектральные датчики разрабатываются и «настраиваются» на определенные спектральные диапазоны. В каждом диапазоне собраны буквально сотни спектральных диапазонов, что дает очень точное и высокоразрешающее представление обо всем, что движется вдоль линии контроля... как в спектральном, так и в пространственном плане.

Диапазон видимого и ближнего инфракрасного диапазона (VNIR) охватывает от 400 до 1000 нм, а расширенный диапазон VNIR охватывает от 550 до 1700 нм. Ближний инфракрасный диапазон (NIR) собирает данные изображения в диапазоне от 900 до 1700 нм, а коротковолновый инфракрасный диапазон (SWIR) охватывает диапазон от 900 до 2500 нм. Поскольку материал «отражает свет» в определенных точках в пределах этих диапазонов, важно сначала определить сами сигнатуры. Затем с помощью алгоритмов датчик может охарактеризовать материал или обнаружить что-либо, не определяемое точно как «хорошее», не только в отношении постороннего материала, но и трудно различимые «сортовые» различия от одной ягоды к другой или от одного ореха к другому. еще один. Это очень ценная характеристика гиперспектральной визуализации, поскольку ее уровень специфичности выходит далеко за рамки традиционных датчиков RGB.

Свет имеет значение

Поскольку датчики HSI измеряют и анализируют отраженный свет, важным фактором является освещение. Общая цель состоит в том, чтобы обеспечить поле зрения датчика чрезвычайно однородной, последовательной формой освещения, которая одновременно является надежной и экономичной.

Для спектрального диапазона VNIR кварц-вольфрам-галоген (QTH) представляет собой одну из таких технологий освещения, в то время как более новые светодиодные источники света можно рассматривать как еще одну, хотя и менее зрелую альтернативу. Связанное оптическое волокно также представляет собой однородный источник света. Многое из того, что интересует индустрию контроля пищевых продуктов, «отражает» за пределами видимого диапазона, который ограничивается около 700 нм. Поэтому крайне важно иметь источник света, покрывающий обе стороны этой точки.

Помимо того, что источник света должен быть как можно более прохладным, прочным и однородным, он должен полностью пересекать ширину линии контроля. Эта возможность от края до края использует преимущества широкого поля зрения датчика, позволяя видеть проверяемый продукт не только непосредственно под самим датчиком, но и за его краями. В высокоскоростной линии контроля пищевых продуктов нет регламентации, потому что продукты могут быть повсюду... по краям или сгруппированы на конвейерной ленте. Срок службы источника света также важен, поскольку многие линии контроля пищевых продуктов работают круглосуточно.

Поскольку датчик строит «куб» данных изображения по одному срезу за раз, а само освещение представляет собой очень тонкую полоску, область интереса («изображение в разрезе») — это то, что нужно осветить. Белая отражательная мишень используется для калибровки датчика перед фактической работой. Это важный шаг, потому что датчик собирает данные изображения, которые будут использоваться последующей робототехнической системой (например, вакуумом, воздушными ножами, когтями для сбора) для отделения «хорошего» от «плохого». свет нужной интенсивности именно там, где это необходимо. Кроме того, важно, чтобы существовала документация, в которой указаны длины волн и интенсивность света в поле проекции, однородность света и деградация на стандартных расстояниях. Таким образом, можно определить точное положение датчика относительно линии, если потребуется некоторая корректировка архитектуры линии.

Робототехника

Роботизированные подсистемы являются естественным элементом многих передовых приложений обработки машинного зрения. Способность различать и устранять зависит от способности датчика и роботизированной системы быстро и точно обмениваться данными в режиме реального времени. Датчики Hyperspec® могут обрабатывать сотни кадров в секунду, а это означает, что они хорошо подходят как с эксплуатационной, так и с экономической точки зрения для работы с высокоскоростными линиями и встроенными в них роботизированными системами.

Индустрия машинного зрения понимает, что необходимые средства для интеграции широкого спектра подсистем в единую и непрерывно работающую линию требуют, чтобы протоколы связи были стандартными и быстрыми. Gigabit Ethernet часто используется, чтобы связать все воедино с точки зрения потока данных. Все системы HSI и компьютеры, которые управляют входящими данными, работают с Gigabit Ethernet, а также с другими очень быстрыми каналами связи, такими как CameraLink.

Сбор и обработка данных

Проверка специальных культур, таких как орехи и ягоды, включает в себя просмотр очень похожих предметов с небольшой степенью изменчивости. Таким образом, разделение сигнала или изображения на сотни гиперспектральных «каналов» является преимуществом для отрасли.

Поскольку простота использования имеет первостепенное значение, а крутые, но быстрые кривые обучения необходимы, программное обеспечение Headwall является интуитивно понятным и содержит функции, которые позволяют пользователям изменять и адаптировать свои процессы проверки на основе того, что видят датчики. Алгоритмический процесс точно определяет спектральные характеристики, с которыми могут столкнуться пользователи. Например, миндаль с повреждениями насекомыми почти неотличим от «хорошего» миндаля при RGB-анализе. Но та же сцена, классифицированная с помощью HSI, привлечет внимание к поврежденным, которые могут быть устранены последующей роботизированной системой.

Сочетание инновационных датчиков, программного обеспечения и рабочего процесса позволяет растущему числу пользователей получать доступ к HSI с реальными решениями, которые используют спектральные данные не только для обнаружения загрязнения, но и для «сортировки» продуктов, чтобы меньше тратилось и больше конвертировалось в доход. Гиперспектральные изображения открывают эту возможность в индустрии машинного зрения.

Ресурсы

1. «Рынок тестирования безопасности пищевых продуктов по целевым протестам (патогены, пестициды, ГМО, микотоксины и аллергены), технологиям (традиционным и быстрым), протестированным пищевым продуктам (мясо, птица, морепродукты, молочные продукты, обработанные продукты и фрукты). и овощи) и Регион - Прогноз до 2026 года ”, Markets and Markets, Рынок тестирования безопасности пищевых продуктов, опубликовано в мае 2021 г.
2. «Влияние кофеина на цветоразличительную функцию сетчатки у добровольцев », Ованесов КБ. Влияние. Эксп Клин Фармакол. 1998 ноябрь-декабрь; 61 (6):17-9. PMID:9929810
3. “Объяснение мультиспектральных и гиперспектральных изображений ", GISGeography, 16 февраля 2018 г.
4. “Справочник по машинному зрению », Александр Хорнберг, Wiley-VCH. п. 694, 2006. ISBN 978-3-527-40584-8

Эта статья написана Кристианом Фельсхаймом, директором Headwall Photonics EMEA, и доктором Уиллом Роком, старшим инженером по приложениям, Headwall Photonics (Болтон, Массачусетс). Для получения дополнительной информации посетите здесь .