Революция в безопасности пищевых продуктов: быстрая, точная визуализация ценности гиперспектральным изображением

Глобальная индустрия инспекции пищи нуждается в более точных инструментах для строгих регуляций. От спецкультур до морепродуктов, мяса и птицы — рынок тестирования безопасности пищи $19,5 млрд (2021), прогноз $28,6 млрд к 2026. Гиперспектральная визуализация (HSI) — инструмент для устранения трудоемких задач и приведения консистентности в субъективную градацию.

От удаленного зондирования к машинному зрению

HSI изначально для авиа/спутниковых снимков, теперь коммерчески применима для продвинутого машинного зрения. HSI-сенсоры — как тысячи/миллионы спектрометров, дающие химические сигнатуры отраженного света в каждом пикселе. Headwall настраивает диапазоны за пределами человеческого глаза: УФ, видимый (UV, VIS), ближний ИК (VNIR, NIR, SWIR).

Превосходство над глазом и RGB

HSI отличает спектральные признаки, невидимые глазу и цветным камерам. Детектирует опасные инородные включения, сортирует/градуирует пищевые продукты, чья ценность зависит от характеристик, лучше измеряемых HSI, чем уставшим человеком (даже кофеин влияет на цветовосприятие).

Преодоление барьеров внедрения

HSI-системы сталкивались с вызовами: огромные объемы сырых данных, сложность спектральных моделей классификации. Новые платформы (Hyperspec® MV.X Headwall) объединяют высокопроизводительный спектрометр, встроенные вычисления и ПО для быстрого создания моделей, извлечения actionable результатов в реальном времени и отправки команд по локальной сети.

Другой взгляд на вещи

Человеческий глаз: только 400–700 нм, 3 широкие RGB-зоны, восприятие варьируется. Индустрия веками опиралась на людей и RGB-сенсоры. Пропускают инородные объекты и трудно обнаруживаемые болезни. Ставки высоки: потребительские предпочтения, регуляции, акционерная ценность.

Спектральные сенсоры: мультиспектральные (4–десятки полос) и гиперспектральные (сотни полос). Оба дают полную картину за пределами RGB. Гиперспектральные — сотни полос на каждый пиксель миллионных изображений — производительность точечного спектрометра в каждом пикселе.

Продвинутая система машинного зрения

1+ спектральных сенсоров, источник света, компьютер, собирающий данные и управляющий роботами. Сенсор выдает данные в реальном времени → роботы интерпретируют и действуют по алгоритмам: убрать брак (pass/fail), направить на другую линию (градуировка), классифицировать похожие пластики на высокоскоростных линиях.

HSI-сенсор — не автономный прибор, а точная часть целой системы. Оценка: машинное зрение используется <20% потенциальных применений. Разумно обсудить, как HSI улучшит инспекцию и экономику.

Принцип pushbroom-сканирования

Pushbroom-сенсор сканирует построчно через щель (слева), каждая строка — пиксели со спектральными характеристиками (центр). При движении сенсора относительно объекта накапливается датасет (справа) — стек, где каждый слой = полоса (малый диапазон длин волн). Пиксели стыкуются в изображение, где каждый пиксель содержит не только RGB, а сотни значений по диапазону сенсора.

Базовая функция: захват отдельных срезов через физическую щель, расщепление на дискретные длины волн дифракционной решеткой, подача на фокальную плоскость (FPA). Решетка с точным профилем щелей сохраняет пространственную когерентность в одном измерении (длина щели) и дифрактирует пространственную информацию (ширина щели, мкм) в известные спектральные каналы.

Всеотражательная pushbroom-технология Headwall захватывает спектральную линию (X пространственный, Z спектральный) за кадр. Последовательные кадры строят Y пространственный. Pushbroom предпочтителен: низкие искажения при очень высоком пространственном и спектральном разрешении. Высокая пропускная способность = высокое С/Ш, низкий рассеянный свет. Всеотражательный дизайн устраняет хроматическую дисперсию.

Движение — ключ к работе

Сенсоры захватывают кадры последовательно — естественным образом зависят от движения. Либо сенсор движется над полем зрения (дроны, авиация), либо поле зрения движется под сенсором (конвейер).

Точное земледелие использует HSI/мультиспектральные сенсоры на дронах/самолетах над полями. Захватывают индексы NDVI, PRI, WBI, Red Edge Ratio и др. Виталитет посевов, эффективность удобрений/орошения, ранние признаки invasives и болезни — в сотнях полос VNIR (400–1000 нм).

HSI-сенсоры на производственной линии, подключенные к роботам, действующим на основе реального анализа во встроенных процессорах.

На высокоскоростных конвейерах тот же уровень значимых данных. Частота кадров и поле зрения позволяют мониторить широкие линии на высокой скорости. Высокая дискриминация HSI видит даже труднодistingуишируемые аномалии. Клюква в клубнике легко, но минимальные цветовые/химические различия в одной культуре или похожих перерабатываемых материалах — только HSI.

Дизайн HSI-сенсора

Лучи в щели разделяются в спектр (радуга) голографической решеткой с тонкими штрихами. Спектр падает на 2D-фотосенсор. ПО конвертирует сигнал каждого пикселя в спектральную кривую при сканировании.

HSI-сенсоры — не просто камеры, а симбиоз спектрометров и камер. Headwall — всеотражательный дизайн без движущихся частей и преломляющей оптики. Голографические решетки управляют светом через щель. Решетки исключительно точны, малы, легки — приборы компактны для легкого развертывания.

Headwall — единственный производитель спектральных сенсоров, делающий свои дифракционные решетки. Каждая — «master quality»: идентичные профили штрихов для данного применения. Фундаментальная оптическая производительность зависит от решетки — истинное дифференцирование. HSI-сенсоры проектируются и «настраиваются» под конкретные спектральные диапазоны. В каждом — сотни полос, дающих высокоточный вид всего на линии — спектрально и пространственно.

Свет имеет значение

HSI измеряет отраженный свет — иллюминация критична. Цель: экстремально равномерная, согласованная, надежная и экономичная иллюминация поля зрения.

Для VNIR: кварцево-вольфрам-галогенные (QTH) и новые LED-источники (менее зрелые). Оптоволоконные пучки — тоже равномерный свет. Многое, что интересует инспекцию пищи, отражается за пределами видимого (обрезание ~700 нм) — нужен источник, покрывающий обе стороны этой границы.

Кроме прохладности, надежности, равномерности — источник должен полностью покрывать ширину линии инспекции. Edge-to-edge использует широкое поле зрения сенсора: продукт виден не только под сенсором, но и по краям. Нет жесткой геометрии на высокоскоростной линии — продукт везде: по краям, сгустки на ленте. Долговечность источника важна — линии работают круглосуточно.

Сенсор строит «куб» данных по срезам, иллюминация — тонкая полоса. Область интереса (образ щели) — то, что нужно освещать. Белая рефлекторная мишень калибрует сенсор перед работой — критично, так как роботы (вакуум, воздушные ножи, клешни) будут сегрегировать «хорошее» от «плохого». Цель: правильный свет, правильная интенсивность, точно там, где нужно. Документация по длинам волн, интенсивности, равномерности, деградации по дистанциям — для точной позиционировки сенсора при изменении архитектуры линии.

Робототехника

Роботизированные подсистемы — естественный элемент линий машинного зрения. Способность дискриминировать и устранять зависит от скоростного и верного обмена данными сенсор-робот в реальном времени. Hyperspec® — сотни кадров/сек — подходят для высокоскоростных линий и встроенных роботов.

Индустрия требует стандартные быстрые протоколы. Gigabit Ethernet объединяет поток данных. HSI-системы и компьютеры работают с GigE, также CameraLink.

Сбор и обработка данных

Инспекция спецкультур (орехи, ягоды) — огромное сходство с малыми вариациями. Деление сигнала на сотни гиперспектральных «каналов» — выгода.

Headwall ПО интуитивно, позволяет адаптировать процессы под то, что видит сенсор. Алгоритмический процесс выявляет спектральные характеристики. Пример: миндаль с повреждением насекомых неотличим от хорошего в RGB. Та же сцена в HSI выделяет поврежденные — робот устраняет.

Комбинация инновационных сенсоров, ПО, рабочего процесса дает растущему числу пользователей доступ к HSI с реальными решениями: детектирование загрязнений + градация → меньше отходов, больше выручки. HSI раскрывает эту возможность в машинном зрении.

Ресурсы

1. Food Safety Testing Market by Target Tested..., Markets and Markets, May 2021
2. The effect of caffeine on the color-discriminating function..., Ovanesov KB, 1998
3. Multispectral vs Hyperspectral Imagery explained, GISGeography, 2018
4. Handbook of Machine Vision, Hornberg, Wiley-VCH, 2006

Авторы: Кристиан Фельшейм, директор Headwall Photonics EMEA, и д-р Уилл Рок, старший инженер по приложениям, Headwall Photonics (Bolton, MA). Подробнее: здесь.