Как технология 3D зрения революционизирует современную автоматизацию

3D зрение в центре современной автоматизации, улучшающей промышленные процессы бесчисленными способами и делающей нашу жизнь легче. Оно помогает нам сортировать продукты, инспектировать объекты в приложениях контроля качества и находить дефекты на них, а также выполнять самые разнообразные задачи быстрее и эффективнее, чем люди когда-либо могли. Роботы с управлением по зрению обычно используются для выполнения опасных задач и манипулирования тяжелыми объектами, поэтому они также повышают безопасность и устраняют риск травм.

3D сенсорные технологии прошли долгий путь, чтобы доставить все эти преимущества, которые мы наслаждаемся сегодня — и они все еще движутся вперед. От первой фотографии к цифровой визуализации, от 2D к 3D, и от 3D сканирования статических объектов к захвату динамических сцен. Что дальше?

Вместе с Томашом Ковачовским, сооснователем и CTO группы Photoneo, мы посмотрели на историю 3D машинного зрения до последних достижений, доминирующих в сегодняшних трендах, таких как Индустрия 4.0. Давайте кратко взглянем на это.

Фотография и первые технологии захвата изображений

С самых начала фотографии люди были очарованы возможностью захватывать и записывать события. Первое известное фото было сделано где-то между 1826 и 1827 годами французским изобретателем Жозефом Нисефором Ниепсом. Хотя его фотографический процесс требовал минимум восьми часов, а то и нескольких дней экспозиции в камере, его ассоциированный Луи Дагэр разработал первый публично анонсированный фотографический процесс (дагерротип), который занимал всего минуты экспозиции. Изобретение было представлено публике в 1839 году — год, который считается рождением практической фотографии.

Долгое время фотография служила только средством записи событий. Поскольку обработка изображения занимала довольно много времени, аналоговая технология не была идеальной для использования в машинном зрении или задачах принятия решений.

В 1969 году Уильям Бойл и Джордж Э. Смит из американских Bell Laboratories изобрели CCD (charge-coupled device) сенсор для записи изображений, что стало важным вехой в развитии цифровой визуализации. CCD сенсор захватывает изображения, конвертируя фотоны в электроны — то есть берет свет и переводит его в цифровые данные. Хотя CCD не могли конкурировать со стандартной пленкой для захвата изображений в то время, они начали использоваться для определенных приложений, и процесс пошел.

От 2D к 3D

2D сенсирование запустило эру автоматизации и было преобладающим подходом в автоматизации промышленного сектора долгое время. 2D зрение используется в некоторых простых приложениях даже сегодня, включая:

• Оптическое распознавание символов (OCR) — чтение печатного, рукописного или напечатанного текста; чтение штрих-кодов
• Контроль качества — часто в комбинации со специальным освещением для обеспечения неизменности оптических свойств сканируемого объекта
• Подсчет
• Сбор предметов при хорошо определенных условиях

Однако главное ограничение 2D технологий — они не могут распознавать формы объектов или измерять расстояние в Z-измерении.

2D приложения требуют хороших, хорошо определенных условий с дополнительным освещением, что также ограничивает такие приложения, как bin picking. Эта роботизированная задача может быть выполнена с 2D системой зрения, но обычно проблематична из-за случайного положения объектов в ящике и большого количества информации в сцене, которую 2D системы не могут обработать.

Люди осознали необходимость 3D информации для автоматизации более сложных задач. Они поняли, что люди могут видеть окружение в 3D и определять расстояние объектов, потому что у них два глаза — стереоскопическое зрение.

В 1960-х годах Ларри Робертс, принятый как отец компьютерного зрения, описал как выводить 3D геометрическую информацию из 2D фотографий линейных рисунков и как компьютер может создать 3D модель из одного 2D фото.

В 1970-х годах курс «Машинное зрение» начался в лаборатории искусственного интеллекта MIT для решения низкоуровневых задач машинного зрения. Здесь Дэвид Марр разработал уникальный подход к пониманию сцены через компьютерное зрение, где он рассматривал зрение как систему обработки информации. Его подход начинался с 2D эскиза, который строился компьютером для получения итогового 3D изображения.

Исследования в машинном зрении интенсифицировались в 1980-х и привели к новым теориям и концепциям. Они породили ряд различных технологий 3D машинного зрения, которые постепенно внедрялись в промышленные и производственные среды для автоматизации широкого спектра процессов.

Первые технологии 3D зрения

Усилия по имитации человеческого стереоскопического зрения привели к разработке одной из первых 3D сенсорных технологий — пассивного стерео. Этот метод триангуляции наблюдает сцену с двух точек и вычисляет треугольник камера — сканируемый объект — камера, ищет корреляции между двумя изображениями. Основываясь на disparities между изображениями, он вычисляет расстояние (глубину) до сканируемого объекта. Однако этот подход опирается на поиск идентичных деталей в изображениях, поэтому он не работает хорошо со белыми стенами или сценами без узоров. Надежность пассивного стерео мала, а 3D вывод обычно имеет высокий шум и требует много вычислительной мощности.

Для компенсации этого недостатка исследователи начали экспериментировать с проецированием световых узоров на сцену для создания искусственной текстуры на поверхности и более легкой идентификации соответствий в сцене. Этот метод называется активным стерео. Хотя этот метод надежнее пассивного стерео, качество реконструкции часто компрометируется строгими требованиями к времени обработки, делая его недостаточным для многих приложений.

Одним из самых ранних и все еще очень популярных методов получения 3D информации является лазерная профилометрия. Эта техника проецирует узкую полосу света (или точку) на 3D поверхность, создавая линию освещения, которая кажется искаженной с угла, отличного от угла проектора. Это отклонение кодирует информацию о глубине. Линейные сканеры захватывают один профиль глубины за раз в быстрой последовательности, для чего им требуется постоянное движение сканируемого объекта или камеры. Лазерная профилометрия была одной из первых 3D методов сканирования, принятых для промышленного использования, и она все еще очень популярна в метрологических приложениях.

Другой метод, изобретенный путем проецирования структурированных световых узоров на сцену — структурированный свет. Одной из самых цитируемых работ, обсуждающих использование структурированного света с бинарными кодами для цифровой реставрации, был Проект «Цифровой Микеланджело» под руководством Марка Леви и его команды в Стэнфордском университете. Проект начался в 1998 году для оцифровки статуй Микеланджело с использованием проектора и камерного сенсора. Лазерные данные сканирования Давида Микеланджело затем использовались для реставрации статуи, начатой в 2002 году. Хотя метод, использованный в этом проекте, не был достаточно быстрым для использования в реальном времени, он обеспечивал очень высокую точность, необходимую для оцифровки различных артефактов и объектов. Благодаря этому технология нашла свою нишу в метрологических приложениях и других роботизированных и задачах машинного зрения, требующих высокой точности сканирования.

Постепенно технология структурированного света расширилась за пределы метрологии и проникла во все виды онлайн-приложений с роботами под управлением зрения. Преимущество 3D сканеров структурированного света в том, что они не требуют движения. Поскольку они могут сделать снимок всей области сканирования, не нужно обходить весь объект сканером, они быстрее устройств на базе лазерной профилометрии и не требуют столько постобработки данных.

От статических к динамическим сценам

Захват движения гораздо более сложен, чем 3D сканирование статических сцен, и дисквалифицирует методы, требующие более длительного времени захвата.

Поскольку пассивное стерео — пассивный метод, не использующий дополнительное освещение, он мог использоваться для захвата динамических сцен, но только при выполнении определенных условий. Все равно результаты не были бы хорошими.

Лазерная профилометрия не намного успешнее пассивного стерео в этом отношении. Поскольку она захватывает один профиль за раз, для создания полного снимка сцены камера или сцена должны двигаться. Однако технология не может захватить динамическое событие. Для реконструкции глубины для одного профиля требуется захват узкой области сканирующего изображения, размер которой ограничивает частоту кадров и, следовательно, скорость сканирования.

Системы структурированного света, с другой стороны, проецируют множественные световые узоры на сцену в последовательности, одно за другим. Для этого сцена должна быть статичной. Если сканируемый объект или камера движутся, код ломается, и 3D облако точек будет искажено.

Необходимость сделать 3D реконструкцию динамических объектов привела к разработке систем Time-of-Flight (ToF). Похоже на технологию структурированного света, ToF — активный метод, посылающий световые сигналы на сцену и интерпретирующий их с камерой и её ПО. В отличие от структурированного света, ToF структурирует свет во времени, а не в пространстве. Он работает на принципе измерения времени, в течение которого световой сигнал, испущенный источником света, попадает на сканируемый объект и возвращается обратно к сенсору.

Первые ToF системы имели довольно низкое качество. Крупные игроки в этой области включали компании вроде Canesta, 3DV Systems или Microsoft (которая позже приобрела обе компании). Один из ранних известных проектов был ZCam — ToF камера, разработанная 3DV и позже купленная Microsoft для приобретения 3D информации и взаимодействия с виртуальными объектами в игровой консоли Xbox.

В 2010 году Microsoft выпустила систему сенсоров Kinect для Xbox, камеру сенсирования движения, основанную на технологии PrimeSense. Технология PrimeSense использовала структурированный узор для кодирования определенных пикселей (не всех) и получения 3D информации. Хотя метод не мог дать высокое разрешение и детальные контуры на краях сканируемых объектов, он был широко принят, так как его скорость обработки была довольно быстрой, а технология также очень доступна. Она использовалась в основном в академической сфере, но также можно было найти в промышленной среде для роботизированного сбора и других задач.

В отличие от Kinect 1, Kinect 2 был основан на технологии ToF. Прогресс в ToF заставил метод стать все более популярным и широко принятым — он мог дать более высокое качество, чем технология PrimeSense, но разрешение 3D сканов динамических сцен все равно было недостаточным.

Сегодняшние ToF системы довольно популярны в приложениях 3D зрения благодаря их высокой скорости сканирования и почти реальному времени захвата. Однако их разрешение все еще проблема, и они также борются с более высокими уровнями шума.

В 2013 году Photoneo пришла с революционной идеей, как захватывать быстро движущиеся объекты для получения 3D информации в высоком разрешении и субмиллиметровой точности.

Запатентованная технология Parallel Structured Light основана на специальном, проприетарном CMOS сенсоре с многотактовым затвором с мозаичным пиксельным узором, который фундаментально меняет способ, которым можно сделать изображение.

Этот новый снимковый подход использует структурированный свет, но меняет роли камеры и проектора: пока системы структурированного света испускают множественные узоры от проектора в последовательности, технология Parallel Structured Light посылает очень простой лазерный скан, без узоров, через сцену и конструирует узоры с другой стороны — в CMOS сенсоре. Все это происходит в одном временном экземпляре и позволяет конструировать множественные виртуальные изображения в одном окне экспозиции. Результат — высокое разрешение и высокая точность 3D изображение движущихся сцен без артефактов движения.

Динамическая сцена, захваченная технологией Parallel Structured Light.

Технология Parallel Structured Light реализована в 3D камере Photoneo MotionCam-3D. Разработка камеры и ее выход на рынок отметили веху в истории машинного зрения, так как переопределили робототехнику с управлением по зрению и расширили возможности автоматизации до беспрецедентной степени. Новый подход был признан множеством наград, включая Vision Award 2018, Vision Systems Design Innovators Platinum Award 2019, inVision Top Innovations 2019, IERA Award 2020, Robotics Business Review's RBR50 Robotics Innovation Awards 2021, inVision Top Innovations 2021 и SupplyTech Breakthrough Award 2022.

3D сканирование в движении и цвете

В 2022 году Photoneo расширила возможности MotionCam-3D, оснастив её цветовым блоком для захвата цветовых данных. MotionCam-3D Color считается следующим «серебряной пулей» в машинном зрении, так как наконец позволяет создавать в реальном времени цветные 3D облака точек движущихся сцен в идеальном качестве. Благодаря уникальному сочетанию 3D геометрии, движения и цвета, камера открывает двери к требовательным ИИ-приложениям и роботизированным задачам, которые не только полагаются на информацию о глубине, но и на цветовые данные.

Создание в реальном времени цветного 3D облака точек движущейся сцены с использованием MotionCam-3D Color.

Области применения, открываемые инновациями машинного зрения

Возможности, предлагаемые последними инновациями в 3D машинном зрении, позволяют нам автоматизировать задачи, которые были невыполнимы до недавнего времени. Эти приложения можно найти в производстве, логистике, автопроме, торговле, сельском хозяйстве, медицине и других секторах и включают:

• Роботизированную манипуляцию объектами в постоянном или случайном движении
• Сбор с конвейерных лент и надконвейеров
• Руко-глазную манипуляцию
• Создание 3D моделей для инспекции и контроля качества
• Очистку и покраску крупных объектов
• Обслуживание в VR/AR
• Сортировку и сбор урожая в сельском хозяйстве
• И многие другие

Что дальше?

Машинное зрение продолжает развиваться, принося новые достижения с новыми возможностями. Направление инноваций всегда влияют рыночные требования, ожидания клиентов, конкуренция и другие факторы.

Мы можем ожидать, что тренд внедрения ИИ во все области машинного зрения определенно продолжится с целью устранения разработки специализированных алгоритмов. Мы видим огромный потенциал в области искусственного интеллекта (ИИ) и его комбинации с технологией Parallel Structured Light. С одной стороны, ИИ зависит от хороших данных. С другой, новая технология машинного зрения может предоставить большое количество высококачественных реальных 3D данных. Комбинирование этих двух подходов может трансформировать интеллектуальную робототехнику и открыть новую сферу возможностей.

Другое многообещающее направление будущих разработок — edge computing (вычисления на краю). Производители, вероятно, продолжат усилия по интеграции ИИ непосредственно в сенсоры и специализации их для определенной цели (например, подсчет людей, измерение габаритов или автоматическое обнаружение заданных признаков объектов), делая развертывание проще для интеграторов и минимизируя потребность в дополнительных компонентах. Новые аппаратные решения, способные захватывать движущиеся сцены, в комбинации с продвинутыми ИИ-алгоритмами расширят постоянно растущие области применения даже в более сложных областях, таких как коллаборативная робототехника или полная автоматизация логистики.