Технология времени пролета обещает повышенную точность

Analog Devices (ADI) и Microsoft объединились для создания решений для создания трехмерных изображений с временным режимом полета (ToF) с целью обеспечения большей точности независимо от условий сцены. ADI будет использовать технологию Microsoft Azure Kinect 3D ToF и добавит свои технические ИС и системные знания для создания решений, которые будет легче внедрять. Наша цель - охватить широкую аудиторию в таких секторах, как Индустрия 4.0, автомобилестроение, игры, дополненная реальность, компьютерная фотография и видеография.

Аналитики отраслевого рынка оценивают значительный рост систем трехмерной визуализации, используемых в сложных условиях, и где для воплощения Индустрии 4.0 требуются передовые приложения, такие как роботы для совместной работы человека, картографирование помещений и системы управления запасами. Приложения ToF также необходимы для создания более безопасных условий вождения автомобиля с функциями обнаружения присутствия и мониторинга водителя.

В интервью EE Times Тони Зарола, старший директор по расширенной визуализации и интерпретации, и Карлос Кальво, менеджер по стратегическому маркетингу компании Analog Devices, осветили основы этого сотрудничества . Зарола сказал: « Microsoft стала эталоном производительности 3D ToF для производителей датчиков изображения и предоставляет ADI базовую пиксельную технологию, которая является основой датчиков и решений, создаваемых ADI. За десятилетия они накопили опыт, необходимый для создания лучших алгоритмов сбора данных и революционных алгоритмов, которые они запускают на Intelligent Edge или в Intelligent Cloud. Мы надеемся объединить лучшие возможности Microsoft и ADI в области микросхем, систем, программного обеспечения и оптики ».

3D-дизайн ToF

Распознавание жестов - это способность устройства распознавать серию движений человеческого тела. Электронная технология основана на помощи камеры и ИС для идентификации и сканирования сцены в 2D или 3D профиле. Метод времени пролета состоит из направления лазерного луча на цель и анализа отражения сигнала.

3D Time-of-Flight, или 3D ToF, представляет собой тип LIDAR (обнаружение света и дальность) без сканера, который использует оптические импульсы большой мощности в наносекундах для захвата информации о глубине (обычно на небольших расстояниях) от сцены. Различные решения IC с помощью программных алгоритмов распознавания жестов создают карту глубины полученных изображений, реагируя в режиме реального времени на движения тела. Основным преимуществом технологии распознавания жестов является отсутствие необходимости в физическом контакте между человеком и системой управления.

Камера ToF измеряет расстояние, освещая объект модулированным лазерным светом и датчиком, чувствительным к длине волны лазера, для улавливания отраженного света. Датчик измеряет временную задержку между моментом излучения света и моментом приема отраженного света камерой. Существует несколько методов измерения временной задержки, два из которых стали общепринятыми:метод непрерывной волны (CW) и импульсный метод. Подавляющее большинство датчиков ToF являются непрерывными и используют датчики CMOS.

Есть много мешающих факторов, которые затрудняют измерение времени пролета (ToF):мешающий окружающий свет, эффекты многолучевого распространения, вызванные отражением света от объектов в сцене, искажающее истинное расстояние, температурные эффекты, неоднозначность дальности. «Задачи масштабируются от разработки микросхем до создания полной системы, работающей в соответствии с теоретической суммой компонентов», - сказал Кальво. «Невозможно рассматривать каждый компонент изолированно. Например, камера ToF с лучшим датчиком, но оснащенная неоптимизированным объективом, будет иметь низкую общую производительность системы ».

«На первый взгляд камеры ToF имеют сходство с камерами RGB. Одно из ключевых отличий заключается в том, что в зависимости от приложения качество изображения камеры RGB оценивается с определенной степенью субъективности; другие приложения доступны только через расширенную постобработку. Камера ToF измеряет объективную физическую величину (расстояние), на которую пользователь, в зависимости от приложения, может в значительной степени полагаться на точность изображения. Некоторые оптические дефекты в камерах RGB, такие как блики объектива, могут создавать артефакты, которые иногда считаются художественными (например, блики солнечного света). Кальво добавил, что в системе ToF блики от линз, если их резко не свести к минимуму, могут снизить производительность всей системы в присутствии сильных отражений от объектов ».

КМОП-датчик, используемый для измерения времени пролета, состоит из излучателя и приемника; он позволяет рассчитывать расстояние до объектов на уровне одного пикселя с производительностью, близкой к 160 кадрам в секунду.

«На уровне кремния необходимо учитывать ключевые элементы сигнальной цепи:драйвер лазера, датчик изображения ToF со встроенным считывающим устройством и, наконец, механизм вычисления глубины. Задача начинается с проектирования пикселя с высокой чувствительностью и высокой модуляционной контрастностью в самом датчике изображения и заканчивается формированием трехмерного облака точек, которое может быть интерпретировано на следующем уровне приложения.

«Помимо компонентов, основные проблемы связаны с разработкой и производством камеры глубины, так как оптико-механическое проектирование, калибровка, электрическое проектирование и внедрение программного обеспечения - все это требует много времени и проблем. Analog Devices (ADI) берет на себя эти задачи для наших клиентов, чтобы упростить им процесс проектирования », - сказал Кальво.

Рис. 1. Блок-схема ToF. (источник:ADI)

Пиксели собирают свет от различных частей сцены, и их рекомбинация составляет реконструированное изображение. Все пиксели датчика управляются корреляцией между блоками демодуляции и модуляции. Каждый пиксель может быть аппроксимирован моделью, показанной на рисунке 2.

Ток направляется к узлу A (Da) или узлу B (Db) в течение времени интегрирования путем активации соответствующих управляющих сигналов. Чтение происходит при остановленной демодуляции, так что система может прочитать всю последовательность битов. ClkA и ClkB модулируются сдвигом по фазе на 180 градусов в течение времени tInt1 на выбранной частоте модуляции. Фаза света, полученного относительно тактовых импульсов ClkA и CLkB, определяет сигналы DA и DB. В конце интеграции ClkA и ClkB отключаются, и выполняется фаза чтения путем дискретизации интегрированного сигнала (BitlineAInt1-BitlineBInt1).

Преобразование фотонов в электрический ток регулируется квантовым процессом с распределением Пуассона. Параметр, который дает нам представление о совершенстве системы, - это квантовая эффективность, то есть соотношение между количеством произведенных электронов и количеством фотонов, которые активируют соответствующие пиксели. Количество электронов зависит как от фактического модулированного света, так и от окружающего света, соответствующего шумовому эффекту. Параметр, который следует выбрать при разработке времяпролетной системы, - это поле зрения (поле зрения). Поле зрения должно быть выбрано в соответствии с требованиями к освещению сцены.

Рис. 2. Электрическая схема и временные характеристики пикселя. (Источник:https://ieeexplore.ieee.org/document/6964815)

Чтобы достичь высокой эффективности на высоких частотах, микросхема может быть изготовлена ​​с использованием процесса КМОП со смешанными сигналами 0,13 мкм малой мощности с небольшими модификациями для поддержки эффективной работы по времени пролета.

ADI и Microsoft

Сотрудничество между Microsoft и ADI направлено на совершенствование технологии ToF:ADI разрабатывает новую серию датчиков изображения ToF 3D, которые будут обеспечивать точность менее миллиметра и будут совместимы с гигантской экосистемой Редмонда на основе глубины Microsoft, Intelligent Cloud. и платформы Intelligent Edge.

«Мы твердо уверены, что это сотрудничество повлияет на все основные отрасли - потребительскую, промышленную, медицинскую и автомобильную. До сих пор технология, разработанная Microsoft, не была широко доступна для масштабируемых коммерческих приложений. Мы считаем, что решения ADI, основанные на технологии обработки изображений Microsoft, кардинально меняют правила игры », - сказал Зарола.

Существуют очевидные применения систем безопасности для улучшенного распознавания лиц наряду с усовершенствованными мерами безопасности для более эффективной автоматизации производства. Индустрия 4.0 будет преобразована за счет совместных роботов, которые будут безопасно работать вместе с людьми, не будучи отгороженными в «нечеловеческой» зоне, а дальнейшая оптимизация логистики будет обеспечена за счет точности ToF для определения размеров ящиков и поддонов.

Зарола добавил:«Более совершенное обнаружение присутствия приведет к повышению энергоэффективности, системам безопасности и взаимодействию человека и машины. От дома до автомобиля наше сотрудничество ToF с Microsoft предоставит новым игровым возможностям возможность размещать виртуальные объекты в реальном мире и взаимодействовать с ними, а также изменять то, как мы взаимодействуем с нашими автомобилями, и повышать безопасность, отслеживая как водителя, так и пассажиров. Возможные варианты использования технологии ToF обширны и постоянно развиваются, поэтому ожидается, что основные приложения сегодняшнего дня будут заменены новыми идеями завтра ».

Зарола и Кальво заявили, что их клиентам нужно разрешение миллиметровой глубины и прекрасное пространственное разрешение в широком диапазоне температур. Достижение такой производительности требует экстремального уровня синхронизации времени, достигаемого как на аппаратном, так и на программном уровне. «Несовпадение по времени 10ps между сигналами, управляющими лазером, и пикселями в датчике приводит к ошибке 1,5 мм в окончательной оценке расстояния. Если это было недостаточно сложно, добавьте к этому необходимость поддержания точности системы Time-of-Flight в широком диапазоне температур, что требует расширенных алгоритмов обработки и калибровки, которые необходимо разрабатывать совместно », - сказал Кальво.

Конкретной критикой систем ToF является частота модуляции, на которой они могут работать и на которой сконцентрирован ADI. Большинство источников ошибок оценки глубины имеют тенденцию «делиться» на частоту модуляции. «Мы стремимся повысить среднюю частоту модуляции системы ToF, что позволит проводить измерения с меньшим глубинным шумом, а также уменьшить неблагоприятные эффекты многолучевого распространения или дробового шума окружающего света», - сказал Зарола.

Зарола добавил:«ADI также стремится решить ключевые проблемы, которые делают разработку и производство камер глубины трудоемкими и трудными. Мы берем на себя механическое выравнивание, оптическое проектирование, калибровку, электрическое проектирование и внедрение программного обеспечения наряду с традиционными препятствиями при захвате изображений ».

Сочетание технологии Microsoft Time-of-Flight (ToF) 3D, используемой в устройствах смешанной реальности HoloLens, и комплекта разработки Azure Kinect, с пользовательскими решениями ADI, позволит внедрять и масштабировать новое поколение высокопроизводительных приложений. оптимизация сроков вывода на рынок.

>> Эта статья была первоначально опубликована на наш дочерний сайт EE Times.