Проектирование системы времени полета:обзор системы

Камеры непрерывной волны (время полета CW (ToF) - это мощное решение, обеспечивающее высокую точность глубины для приложений, требующих высококачественной трехмерной информации, но разработчикам необходимо учитывать множество факторов для достижения наилучшего уровня производительности.

Это первая статья в нашей серии Time of Flight (ToF), в которой будет представлен обзор технологии системной камеры CMOS ToF с непрерывной волной (CW) и ее преимуществ по сравнению с традиционными решениями для обработки трехмерных изображений для приложений машинного зрения. В последующих статьях мы более подробно рассмотрим некоторые компоненты системного уровня, представленные в этой статье, включая подсистему освещения, оптику, управление питанием и обработку глубины.

Введение

Многие приложения машинного зрения теперь требуют трехмерных глубинных изображений с высоким разрешением, чтобы заменить или дополнить стандартные двухмерные изображения. В этих решениях используется 3D-камера для получения надежной информации о глубине, что гарантирует безопасность, особенно когда машины работают в непосредственной близости от людей. Камеры также должны предоставлять надежную информацию о глубине при работе в сложных условиях, например в больших пространствах с сильно отражающими поверхностями и в присутствии других движущихся объектов.

На сегодняшний день во многих продуктах используются дальномеры с низким разрешением для получения информации о глубине для улучшения 2D-изображений. Однако у этого подхода есть много ограничений. Для приложений, которые извлекают выгоду из информации о глубине 3D в более высоком разрешении, камеры CW CMOS ToF обеспечивают решения с высочайшей производительностью на рынке. Некоторые из функций системы, обеспечиваемые сенсорной технологией CW ToF с высоким разрешением, более подробно описаны в таблице 1. Эти системные функции также применимы для вариантов использования потребителями, таких как видео-боке, аутентификация по лицу и приложения для измерения, а также для таких случаев использования в автомобилях. в качестве контроля бдительности водителя и автоматической настройки в салоне.

Таблица 1. Характеристики системы измерения времени непрерывной волны

Системная функция Активаторы Точность и точность глубины • Частота модуляции

• Схемы модуляции и обработка глубины. Динамический диапазон • Шум считывания

• Исходная частота кадров Простота использования • Процедура калибровки

• Температурная компенсация

• Контроль безопасности для глаз Работа на открытом воздухе • Чувствительность при 940 нм

• Мощность и эффективность освещения. Слияние 2D / 3D • Размер пикселя

• Глубинные и двумерные ИК-изображения. Работа с несколькими системами • Попиксельное подавление мешающего света

• Синхронизация камеры

щелкните, чтобы просмотреть изображение в полном размере

Рис. 1. Обзор технологии летных датчиков с непрерывной волной. (Источник:Analog Devices)

Камера ToF состоит из нескольких элементов (см. Рис. 1), в том числе:

• источник света, например лазер с вертикальным резонатором, излучающий поверхность (VCSEL) или лазерный диод с торцевым излучением, излучающий свет в ближней инфракрасной области. Наиболее часто используемые длины волн - 850 нм и 940 нм. Источником света обычно является рассеянный источник (прожекторное освещение), который излучает луч света с определенным расхождением (также известный как поле освещения или FOI) для освещения сцены перед камерой.
• лазерный драйвер, который модулирует интенсивность света, излучаемого источником света.
• датчик с массивом пикселей, который собирает отраженный свет от сцены и выводит значения для каждого пикселя.
• линза, фокусирующая возвращающийся свет на матрицу датчиков.
• полосовой фильтр, расположенный рядом с линзой, который отфильтровывает свет за пределами узкой полосы пропускания вокруг длины волны источника света.
• алгоритм обработки, преобразующий выходные необработанные кадры с датчика в изображения глубины или облака точек.

Для модуляции света в ToF-камере можно использовать несколько подходов. Простой подход - использовать непрерывную модуляцию волны, например модуляцию прямоугольной формы с коэффициентом заполнения 50%. На практике форма волны лазера редко представляет собой идеальную прямоугольную волну и может быть похожа на синусоидальную волну. Форма волны квадратного лазера дает лучшее отношение сигнал / шум для данной оптической мощности, но также вносит ошибки нелинейности по глубине из-за присутствия высокочастотных гармоник.

Камера CW ToF измеряет разницу во времени t _d между излучаемым сигналом и обратным сигналом путем оценки фазового сдвига ϕ =2πft _d между основами этих двух сигналов. Глубину можно оценить по сдвигу фазы (ϕ) и скорости света (c), используя:

где f _mod - частота модуляции.

Схема генерации тактовых импульсов в датчике управляет дополнительными тактовыми импульсами пикселей, которые соответственно управляют накоплением фотозарядов в двух элементах накопления заряда (Tap A и Tap B), а также сигналом лазерной модуляции для драйвера лазера. Фазу возвращающегося модулированного света можно измерить относительно фазы тактовых импульсов пикселей (см. Правую часть рисунка 1). Дифференциальный заряд между Tap A и Tap B в пикселе пропорционален интенсивности возвращающегося модулированного света и фазе возвращающегося модулированного света относительно тактовой частоты пикселя.

Используя принципы гомодинного обнаружения, выполняется измерение с несколькими относительными фазами между тактовой частотой пикселя и сигналом лазерной модуляции. Эти измерения объединяются для определения фазы основной гармоники возвращающегося модулированного светового сигнала. Знание этой фазы позволяет рассчитать время, за которое свет проходит от источника света до наблюдаемого объекта и обратно к пикселю датчика.

Преимущества высоких частот модуляции

На практике существуют неидеальности, такие как дробовой шум фотонов, шум схемы считывания и многолучевые помехи, которые могут вызвать ошибки в измерении фазы. Высокая частота модуляции снижает влияние этих ошибок на оценку глубины.

Это легко понять, взяв простой пример с фазовой ошибкой ϵ _ϕ - то есть фаза, измеренная датчиком, равна ϕ =ϕ + ϵ _ϕ . Тогда ошибка глубины:

Следовательно, ошибка глубины обратно пропорциональна частоте модуляции, f _mod . Это графически проиллюстрировано на рисунке 2.

щелкните, чтобы просмотреть изображение в полном размере

Рис. 2. Влияние фазовой ошибки на оценку расстояния. (Источник:Analog Devices)

Эта простая формула в значительной степени объясняет, почему камеры ToF с высокой частотой модуляции имеют более низкий шум глубины и меньшие ошибки глубины, чем камеры ToF с более низкой частотой модуляции.

Одним из недостатков использования высокой частоты модуляции является то, что фаза нарастает быстрее, а это означает, что диапазон, который можно однозначно измерить, короче. Обычный способ обойти это ограничение - использовать несколько частот модуляции, которые меняются с разной скоростью. Самая низкая частота модуляции обеспечивает большой диапазон без неоднозначности, но с большими ошибками глубины (шум, многолучевые помехи и т. Д.), В то время как более высокие частоты модуляции используются в тандеме для уменьшения ошибок глубины. Пример этой схемы с тремя разными частотами модуляции показан на рисунке 3. Окончательная оценка глубины рассчитывается путем взвешивания развернутых оценок фазы для различных частот модуляции, причем более высокие веса назначаются более высоким частотам модуляции.

щелкните, чтобы просмотреть изображение в полном размере

Рисунок 3. Многочастотная развертка фазы. (Источник:Analog Devices)

Если веса для каждой частоты выбраны оптимально, глубинный шум обратно пропорционален среднеквадратичному значению (среднеквадратичное значение) частот модуляции, выбранных в системе. Для постоянного бюджета глубины шума увеличение частот модуляции позволяет сократить время интегрирования или мощность освещения.

Другие системные аспекты, критичные для производительности

При разработке высокопроизводительной камеры ToF необходимо учитывать множество системных функций, некоторые из которых кратко описаны здесь.

Датчик изображения

Датчик изображения - ключевой компонент ToF-камеры. Эффекты большинства неидеальности оценки глубины (например, смещение, шум глубины и артефакты многолучевого распространения) уменьшаются, когда средняя частота модуляции системы увеличивается. Поэтому важно, чтобы датчик имел высокий контраст демодуляции (способность разделять фотоэлектроны между ответвителями A и B) при высокой частоте модуляции (сотни МГц). Датчик также должен иметь высокую квантовую эффективность (QE) в ближнем инфракрасном диапазоне длин волн (например, 850 нм и 940 нм), так что для генерации фотоэлектронов в пикселе требуется меньшая оптическая мощность. Наконец, низкий уровень шума при считывании помогает расширить динамический диапазон камеры, позволяя обнаруживать слабые отраженные сигналы (далекие объекты или объекты с низкой отражательной способностью).

Подсветка

Драйвер лазера модулирует источник света (например, VCSEL) с высокой частотой модуляции. Чтобы максимизировать количество полезного сигнала в пикселе для заданной оптической мощности, форма оптического сигнала должна иметь быстрое время нарастания и спада с чистыми краями. Комбинация лазера, лазерного драйвера и разводки печатной платы в подсистеме освещения имеет решающее значение для достижения этой цели. Также требуется некоторая характеристика, чтобы найти оптимальную оптическую мощность и настройки рабочего цикла, чтобы максимизировать амплитуду основной гармоники в преобразовании Фурье формы волны модуляции. Наконец, оптическая мощность также должна подаваться безопасным образом с некоторыми механизмами безопасности, встроенными в драйвер лазера и на уровне системы, чтобы гарантировать постоянное соблюдение пределов безопасности для глаз класса 1.

Оптика

Оптика играет ключевую роль в камерах ToF. Камеры ToF обладают определенными отличительными характеристиками, которые предъявляют особые требования к оптике. Во-первых, поле освещения источника света должно соответствовать полю зрения линзы для оптимальной эффективности. Также важно, чтобы сам объектив имел большую диафрагму (низкое f / #) для лучшей светосилы. Большая диафрагма может привести к другим компромиссам, связанным с виньетированием, малой глубиной резкости и сложностью конструкции объектива. Конструкция линз с низким углом главного луча также может помочь уменьшить полосу пропускания полосового фильтра, что улучшает подавление окружающего света и, следовательно, улучшает характеристики на открытом воздухе. Оптическая подсистема также должна быть оптимизирована для работы с желаемой длиной волны (например, антибликовое покрытие, конструкция полосового фильтра, конструкция линзы), чтобы максимизировать пропускную способность и свести к минимуму паразитный свет. Также существует множество механических требований, чтобы гарантировать, что оптическое выравнивание находится в пределах желаемых допусков для конечного применения.

Управление питанием

Управление питанием также критически важно при проектировании высокопроизводительного модуля 3D-камеры ToF. Модуляция лазера и модуляция пикселей генерируют короткие всплески высоких пиковых токов, что накладывает некоторые ограничения на решение по управлению питанием. На уровне интегральной схемы датчика (ИС) есть некоторые функции, которые могут помочь снизить пиковую потребляемую мощность тепловизора. Существуют также методы управления питанием, которые можно применять на системном уровне, чтобы упростить требования к источнику питания (например, батарее или USB). Для основных аналоговых источников питания тепловизора ToF обычно требуется стабилизатор с хорошей переходной характеристикой и низким уровнем шума.

щелкните, чтобы просмотреть изображение в полном размере

Рисунок 4. Архитектура оптической системы. (Источник:Analog Devices)

Алгоритм обработки глубины

Наконец, еще одна важная часть проектирования системного уровня - это алгоритм обработки глубины. Датчик изображения ToF выводит необработанные пиксельные данные, из которых необходимо извлечь фазовую информацию. Эта операция требует различных шагов, которые включают в себя фильтрацию шума и развертку фазы. Результатом блока развертки фазы является измерение расстояния, пройденного светом от лазера до сцены и обратно до пикселя, часто называемое диапазоном или радиальным расстоянием.

Радиальное расстояние обычно преобразуется в информацию об облаке точек, которая представляет информацию о конкретном пикселе по его реальным координатам (X, Y, Z). Часто конечные приложения используют только карту Z-изображения (карту глубины) вместо полного облака точек. Преобразование радиального расстояния в облако точек требует знания внутренних характеристик объектива и параметров искажения. Эти параметры оцениваются во время геометрической калибровки модуля камеры. Алгоритм обработки глубины может также выводить другую информацию, такую ​​как изображения с активной яркостью (амплитуда отраженного лазерного сигнала), пассивные 2D ИК-изображения и уровни достоверности, которые можно использовать в конечных приложениях. Обработка глубины может выполняться в самом модуле камеры или в главном процессоре где-то еще в системе.

Обзор различных компонентов системного уровня, рассматриваемых в этой статье, представлен в таблице 2. Эти темы будут рассмотрены более подробно в следующих статьях.

Таблица 2. Компоненты системного уровня для трехмерных времяпролетных камер

Компонент системного уровня Основные характеристики ToF Imager Разрешение, высокая контрастность демодуляции, высокая квантовая эффективность, высокая частота модуляции,
низкий уровень шума считывания Источник освещения Высокая оптическая мощность, высокая частота модуляции,
функции защиты глаз Оптика Высокая эффективность сбора света, минимальное количество паразитного света, узкая полоса пропускания Управление мощностьюНизкий шум , хорошая переходная характеристика,
высокая эффективность, высокая пиковая мощность, глубина обработки, низкая мощность, поддержка различных типов вывода
информация о глубине

Заключение

Непрерывные времяпролетные камеры - это мощное решение, обеспечивающее высокую точность глубины для приложений, требующих высококачественной трехмерной информации. Для достижения наилучшего уровня производительности необходимо учитывать множество факторов. Такие факторы, как частота модуляции, контраст демодуляции, квантовая эффективность и шум считывания, определяют производительность на уровне датчика изображения. Другие факторы - это соображения на уровне системы, которые включают подсистему освещения, оптическую конструкцию, управление питанием и алгоритмы обработки глубины. Все эти компоненты системного уровня критически важны для достижения высочайшей точности системы 3D ToF-камер. Эти темы системного уровня будут рассмотрены более подробно в следующих статьях. Дополнительную информацию о предложениях ADI ToF можно найти на сайте analog.com/tof.

---

Пол О’Салливан системный инженер компании Analog Devices в Санта-Кларе, Калифорния. Он присоединился к компании Analog Devices в Ирландии в 2004 году, где занимался разработкой различных тестов и разработкой приложений, а затем переехал в Калифорнию в 2016 году для работы над проектами передовых технологий для потребительских приложений. Он занимается разработкой и калибровкой модуля 3D-камеры ToF с 2019 года. Имеет степень бакалавра искусств. Имеет степень Университетского колледжа Корка и магистр инженерной мысли. из Университета Лимерика, Ирландия. С ним можно связаться по адресу [email protected]. Николя Ле Дорц является системным инженером в технологической группе Time of Flight (ToF) компании Analog Devices. В этой должности он наблюдает за развитием предложения технологии ToF от ADI, объединяя межфункциональные группы, участвующие в поставке систем камер ToF, и обеспечивая выдающуюся производительность клиентам Analog Devices. Он получил M.S. в области электротехники от Ecole Polytechnique, Франция, в 2010 г. в области микроэлектроники из KTH, Швеция, в 2012 году, и докторская степень. в области электротехники в Ecole Centrale-Supelec, Франция, в 2015 году, а с 2013 по 2014 год он был приглашенным исследователем в Калифорнийском университете в Беркли. Он увлечен работой с клиентами над созданием инноваций в области измерения глубины путем объединения таких дисциплин, как компьютерное зрение, обработка сигналов, проектирование интегральных схем, разработка программного обеспечения и оптический дизайн. С ним можно связаться по адресу [email protected].

---

Связанное содержание:

• Инструменты продвигают вверх по цепочке создания стоимости, чтобы раскрыть загадку Vision AI.
• Создание эффективных приложений Интернета вещей с помощью tinyML и автоматизированного машинного обучения.
• Технология времени пролета обещает повышенную точность.
• Датчик времени пролета в ближнем инфракрасном диапазоне уменьшает помехи от солнечного света.
• Платформа Lidar поддерживает определение занятости и социальное дистанцирование.
• Датчик ToF обеспечивает быстрое обнаружение 3D
• Ультразвуковой датчик времени пролета имеет диапазон 1 метр.

Чтобы получить больше информации о Embedded, подпишитесь на еженедельную рассылку Embedded по электронной почте.