Основные технологии 3D-сенсирования: подробное объяснение

Наша предыдущая статья под названием «3D системы зрения — какая подходит вам?» охватила самые важные параметры 3D систем зрения и какие компромиссы возникают, когда некоторые параметры довольно высоки. Обсуждаемые параметры включали объем сканирования, время сбора и обработки данных, разрешение, точность и прецизионность, надежность, дизайн и связь, а также соотношение цена/производительность.

Каждый из этих параметров играет свою роль в конкретных приложениях — где один параметр ключевой, другой может быть второстепенным и наоборот.

Мы будем ссылаться на эти параметры для лучшего сравнения отдельных технологий за 3D системами зрения и возможностей, которые они предоставляют.

Технологии 3D-сенсирования

Технологии, питания 3D системы зрения, можно разделить на две основные группы. Одна использует принцип времени полета (time of flight), а другая принцип триангуляции:

A. Time-of-flight (Время полета)

• Area scan (Областное сканирование)
• LiDAR

B. Методы на основе триангуляции

• Лазерная триангуляция (или профилометрия)
• Фотограмметрия
• Стереозрение (пассивное и активное)
• Структурированный свет (один кадр, множественные кадры)
• Новая технология «параллельный структурированный свет»

Эта статья обсудит основные различия между этими техниками. Затем она сфокусируется на одном главном аспекте, со которым все они борются, ни одна из них не способная удовлетворительно его решить — за исключением одной. Этот аспект — высококачественный захват данных сцен в движении. Существует одна единственная, новая технология, которая позволяет снимковое областное сканирование быстро движущихся объектов высокого качества, тем самым устраняя необходимость в компромиссе между качеством и скоростью. Этот метод описан в конце этой статьи. Но давайте пойдем шаг за шагом.

Time-of-flight (ToF)

ToF системы основаны на измерении времени, в течение которого световой сигнал, излученный из источника света, попадает на сканируемый объект и возвращается обратно к сенсору. Хотя скорость сканирования относительно высока, ограничением является скорость света. Даже небольшая ошибка в расчете момента падения света может привести к ошибке измерения от миллиметров до сантиметров. Другим ограничением является то, что эти сенсоры обеспечивают относительно низкое разрешение.

Существует две характерные техники, использующие подход ToF — LiDAR и областное сенсирование.

LiDAR

LiDAR системы дискретизируют одну (или несколько) 3D-точек за раз. Во время сканирования они меняют позицию или ориентацию сенсора для сканирования всего рабочего объема.

ToF областное сенсирование

ToF системы, основанные на областном сенсировании, используют специальный образцовый сенсор для измерения времени для множественных измерений в 2D-снимке. Они не обеспечивают такое высокое качество данных, как LiDAR системы, но они хорошо подходят для динамических приложений, которые удовлетворяются низким разрешением. Один конкретный недостаток этого метода — интеррефлексии между частями сцены, которые могут вызывать неверные измерения.

ToF системы довольно популярны из-за привлекательной цены потребительских устройств, в основном предназначенных для взаимодействия человек-компьютер.

Методы на основе триангуляции

Системы на основе триангуляции наблюдают сцены с двух перспектив, которые образуют базу. База и исследуемая точка образуют треугольник — измеряя углы этого треугольника, мы можем вычислить точные 3D-координаты. Длина базы и точность извлечения углов сильно влияют на точность системы.

Лазерная триангуляция = Профилометрия

Лазерная триангуляция — один из самых популярных методов 3D-сенсирования. Она проецирует узкую полосу света (или точку) на 3D-поверхность, что создает линию освещения, которая будет выглядеть искаженной с угла, отличного от угла проектора. Это отклонение кодирует информацию о глубине.

Поскольку она захватывает один профиль за раз, либо сенсор, либо объект должен двигаться, либо лазерный профиль должен сканировать через сцену, чтобы сделать полный снимок.

Для реконструкции глубины для одного профиля этот метод требует захвата узкого областного снимка, размер которого ограничивает частоту кадров и, следовательно, также скорость сканирования. Кроме того, расчет глубины может стать довольно сложным, так как он полагается на поиск максимумов интенсивности в захваченных 2D-изображениях, что само по себе сложная проблема.

Фотограмметрия

Фотограмметрия — это техника, которая вычисляет 3D-реконструкцию объекта из большого количества незарегистрированных 2D-изображений. Аналогично стереозрению, она полагается на текстуру объекта, но может выиграть от множественных выборок одной и той же точки с большой базой. Фотограмметрию можно использовать как альтернативу LiDAR системам.

Стереозрение

Стереозрение основано на вычислении треугольника: камера — сканируемый объект — камера, имитируя человеческое восприятие глубины.

Стандартное стерео ищет корреляции между двумя изображениями (им нужно иметь текстуру/идентичные детали) и на основе диспаратности определяет расстояние (глубину) от объекта. Из-за этой зависимости от материала объекта, пассивное 3D стерео используется для приложений, которые ничего не измеряют, таких как подсчет людей.

Для компенсации этого недостатка было разработано активное стерео зрение. Этот метод проецирует световой паттерн на поверхность, чтобы создать искусственную текстуру на поверхности и соответствия в сцене. Однако идентификация соответствий и измерение одной точки глубины требует нескольких соседних пикселей, что приводит к низкому количеству измеренных точек с обычно более низкой надежностью.

Расчет глубины основан на анализе соответствий между парой стерео-изображений, сложность которого возрастает с размером окна сопоставления и диапазоном глубины. Для соблюдения строгих требований к времени обработки качество реконструкции часто компромиссируется, что делает метод недостаточным для определенных приложений.

Структурированный свет

Другой метод, также относящийся к подходам триангуляции, освещает сканируемый объект так называемым структурированным светом. Треугольник простирается между проектором, сканируемым объектом и камерой. Поскольку этот метод позволяет захватывать полный 3D-снимок сцены без необходимости движения каких-либо частей, технология структурированного света обеспечивает высокий уровень производительности и гибкости.

Сложные проекционные техники используются для создания закодированного структурированного паттерна, который кодирует 3D-информацию непосредственно в сцене. Эта информация затем анализируется камерой и внутренними алгоритмами, обеспечивая высокий уровень точности и разрешения.

Структурированные световые системы более высокого разрешения, доступные на рынке, используют множественные кадры сцены, каждый с разным спроецированным структурированным паттерном. Это обеспечивает высокую точность 3D-информации на пиксель, но требует статичной сцены в момент захвата.

Одним из крупнейших недостатков проекционных подходов является глубина резкости (или диапазон глубины). Чтобы держать проектор в фокусе, системе нужен узкий апертура. Это неоптично оптически, так как заблокированный свет создает дополнительное тепло и внутренние отражения в проекционной системе. Это ограничивает использование этой технологии для более высоких диапазонов глубины.

Photoneo решила эту проблему лазером, создающим структурированные паттерны. Системы Photoneo обеспечивают практически неограниченный диапазон глубины, а также возможность использовать узкополосные фильтры для блокирования окружающего света.

Для движущегося приложения нужен однокадровый подход. Обычная техника — закодировать отличительные черты многорамковых систем в один структурированный паттерн, с сильным влиянием на XY и Z разрешение. Аналогично ToF системам, в этой категории доступны потребительские продукты.

Параллельный структурированный свет (Parallel Structured Light)

Существует только один метод, способный преодолеть ограничения сканирования движущихся сцен.

Новая, запатентованная технология под названием Parallel Structured Light была разработана Photoneo и позволяет захват объектов в движении высокого качества. Метод использует структурированный свет в комбинации с проприетарным мозаичным затвором CMOS-сенсора.

В то время как метод структурированного света захватывает паттерны, закодированные проектором, последовательно, технология Parallel Structured Light захватывает множественные изображения структурированного света параллельно — это изменяющий игру фактор. Поскольку захват изображения 3D-поверхности требует множественных кадров, выход сканирования движущегося объекта методом структурированного света был бы искажен. Технология Parallel Structured Light захватывает динамическую сцену, реконструируя ее 3D-изображение из одного единственного снимка сенсора.

Специальный сенсор состоит из супер-пиксельных блоков, которые дополнительно разделены на подпиксели. Лазер, исходящий от проектора структурированного света, включен все время, в то время как экспозиции отдельных пикселей включаются и выключаются в закодированном порядке. Таким образом, есть одна проекция и один захваченный образ — но этот образ содержит множественные под-образы, каждый виртуально освещенный разным световым паттерном.

Результат очень похож на результат множественных изображений во времени, с разницей, что этот новый метод получает их одновременно = поэтому «Parallel Structured Light». Еще одно преимущество этой техники — возможность переключить сенсор в последовательный режим и получить полное разрешение 2Мп с метрологическим качеством.

Технология Parallel Structured Light таким образом предлагает высокое разрешение многорамковых систем структурированного света и быстрый, однокадровый захват ToF систем.

Photoneo реализовала эту технологию в своей 3D-камере MotionCam-3D, тем самым разработав камеру 3D областного сканирования с самым высоким разрешением и точностью, способную захватывать объекты в движении.

Заключение

Эта статья представила множество методов 3D зрения и объяснила их конкретные преимущества и слабые точки. Большинство современных 3D методов идут на компромисс между качеством и скоростью, либо из-за требовательного процесса захвата, либо из-за сложной обработки данных. Единственная технология, которая обеспечивает и качество, и скорость одновременно — Parallel Structured Light на базе оригинального CMOS сенсора Photoneo. Этот новый метод расширяет диапазон возможных приложений и позволяет автоматизацию там, где она была невозможна раньше.