Analog Devices и Microsoft партнёрствуют для ультраточной 3D-визуализации Time-of-Flight

Analog Devices (ADI) и Microsoft заключили стратегическое партнёрство для расширения возможностей 3D-визуализации методом времени пролёта (Time-of-Flight, ToF). Используя платформу Azure Kinect ToF от Microsoft и экспертизу ADI в области интегральных схем и системной интеграции, партнёрство направлено на создание решений, которые не только высокоточны, но и легче интегрируются в широком спектре отраслей — включая Индустрию 4.0, автомобилестроение, игры, дополненную реальность и вычислительную фотографию.

Аналитики рынка прогнозируют мощный рост систем 3D-визуализации, способных надежно работать в требовательных средах. Приложения вроде коллаборативных роботов, картирования помещений и отслеживания запасов в реальном времени — ключевые драйверы для Индустрии 4.0, в то время как продвинутое определение заполненности и мониторинг водителя необходимы для безопасности автомобилей следующего поколения.

В недавнем интервью EE Times старший директор ADI по расширенной визуализации Тони Заро́ла и менеджер по стратегическому маркетингу Карлос Кальво изложили основы этого сотрудничества. Заро́ла отметил: «Microsoft установила эталон производительности 3D ToF среди производителей изображений, предоставив ADI базовую пиксельную технологию, лежащую в основе сенсоров и решений, которые мы создаём. Десятилетия экспертизы в захвате данных и революционных алгоритмах — как на Intelligent Edge, так и в Intelligent Cloud — позволили нам объединить лучшее из кремния, систем, ПО и оптики Microsoft и ADI».

Принцип проектирования 3D ToF

Распознавание жестов опирается на захват серии движений человека с помощью камеры и ИС, сканирующей сцену в 2D или 3D. Технология ToF посылает лазерный импульс к цели и анализирует отражённый сигнал, создавая карту глубины в реальном времени. В отличие от традиционного лидара, 3D ToF использует высокомощные оптические импульсы наносекундного масштаба и не требует вращающегося сканера, что делает её идеальной для захвата глубины на близкой дистанции с высоким разрешением.

ToF-камера освещает объект модулированным лазерным светом и использует длиноволнозависимый сенсор для записи отражённого луча. Сенсор измеряет задержку времени между излучением и приёмом, преобразуя её в расстояние. Существует два распространённых метода измерения: непрерывная волна (CW) и импульсный. Большинство коммерческих ToF-сенсоров используют CW с CMOS-технологией.

Точное измерение ToF затруднено фоновым светом, многолучевыми отражениями, температурным дрейфом и неоднозначностью дальности. «Каждый компонент — сенсор, объектив, прошивка — должен быть оптимизирован как целостная система», — подчеркнул Кальво. «Камера с лучшим сенсором, но плохо настроенным объективом, будет работать плохо в целом».

В то время как RGB-камеры оцениваются по субъективному качеству изображения, ToF-камеры измеряют объективную физическую величину — расстояние. Оптические несовершенства, такие как блики объектива, могут быть безвредны для RGB, но становятся критическими для ToF, особенно в рефлектирующих средах.

CMOS ToF-сенсор интегрирует излучатель и приёмник в одном пикселе, позволяя вычислять расстояние по одному пикселю до 160 fps. Ключевые элементы сигнальной цепи включают драйвер лазера, интегрированный сенсор считывания и движок вычисления глубины. Вызов проектирования охватывает всё: от чувствительности пикселя и модуляционного контраста до финальной интерпретации 3D-точечного облака, требуемой последующими приложениями.

Помимо кремния, ADI охватывает полный цикл проектирования — оптико-механическую компоновку, калибровку, электрическое проектирование и программную интеграцию — для упрощения работы заказчика.

Рисунок 1. Блок-схема ToF. (источник: ADI)

Пиксели сенсора захватывают свет от разных участков сцены; их сигналы комбинируются для восстановления изображения глубины. Работа каждого пикселя регулируется корреляцией между блоками демодуляции и модуляции, как показано на рисунке 2.

Ток течёт к узлу A (Da) или узлу B (Db) в период интеграции, управляемый контрольными сигналами. ClkA и ClkB работают в противофазе (180°) в период интеграции, а фазовая связь определяет выходы DA и DB. После интеграции система сэмплирует накопленный сигнал (BitlineAInt1–BitlineBInt1).

Преобразование фотона в электрон подчиняется распределению Пуассона, а квантовая эффективность — отношение сгенерированных электронов к инцидентным фотонам — определяет производительность системы. Фоновый свет добавляет шум, а поле зрения (FoV) должно быть выбрано под покрытие сцены.

Рисунок 2. Электрическая схема и тайминги пикселя. (Источник: https://ieeexplore.ieee.org/document/6964815)

Высокочастотная работа достигается за счёт производства чипа по 0,13 мкм смешанному сигналу низкопотребляющему CMOS-процессу с незначительными модификациями для эффективной поддержки ToF.

Последствия для отрасли

Партнёрство приведёт к разработке ADI новой линейки 3D-образователей ToF, обеспечивающих субмиллиметровую точность глубины и бесшовную интеграцию в экосистему Microsoft — с использованием облачных возможностей Azure и пограничных вычислений.

Заро́ла выразил уверенность, что сотрудничество трансформирует множество секторов: «До сих пор технология ToF Microsoft не была широко доступна для коммерческого масштабирования. С кремниевой и системной экспертизой ADI мы ожидаем предоставить прорывное решение для потребительских, промышленных, медицинских и автомобильных рынков».

Потенциальные приложения включают усиленную безопасность распознавания лиц, более безопасную фабричную автоматизацию и рабочие процессы Индустрии 4.0, где коллаборативные роботы могут работать без защитных клеток. В логистике точный ToF может автоматизировать измерение габаритов коробок и паллет, повышая эффективность.

Заро́ла добавил: «Продвинутое определение заполненности улучшит энергопотребление, системы безопасности и человеко-машинное взаимодействие. От домашнего развлечения до автомобильной безопасности — наша совместная ToF-платформа позволит иммерсивные игровые впечатления и мониторинг водителя/пассажира, заложив основу для инноваций завтрашнего дня».

Оба лидера подчеркнули необходимость миллиметрового разрешения глубины в широком температурном диапазоне. Достижение такой точности требует 10 пс временной синхронизации между управлением лазером и пикселями сенсора — ошибка 1,5 мм при расхождении. Кроме того, поддержание точности при температурных вариациях требует сложных алгоритмов калибровки, разработанных в тандеме.

Другой фокус — частота модуляции. «Ниже частоты модуляции увеличивают глубинный шум и усиливают артефакты многолучевых отражений или фонового света», — заметил Кальво. «Повышая среднюю частоту модуляции, мы снижаем глубинный шум и смягчаем негативные эффекты».

Холистический подход ADI — охватывающий механическое выравнивание, оптическое проектирование, калибровку, электрическую архитектуру и ПО — решает проблему длинного цикла разработки, который обычно препятствует внедрению ToF-камер.

Сочетание технологии ToF Microsoft — используемой в смешанно-реальных устройствах HoloLens и наборе Azure Kinect — с кастомными решениями ADI позволит новое поколение высокопроизводительных, масштабируемых приложений, сокращая time-to-market.

>> Эта статья была впервые опубликована на нашем партнёрском сайте EE Times.