Передовая 3D система отслеживания движения: датчик нового поколения для автономных технологий

Система отслеживания 3D движения в реальном времени объединяет прозрачные детекторы света с передовыми методами нейронных сетей, чтобы создать систему, которая однажды может заменить лидар и камеры в автономных технологиях. Система визуализации использует преимущества прозрачных, наномасштабных, высокочувствительных графиновых фото-детекторов.

Графиновые фото-детекторы были настроены поглощать только около 10% света, к которому они экспонированы, делая их почти прозрачными. Поскольку графен настолько чувствителен к свету, этого достаточно для генерации изображений, которые могут быть реконструированы через вычислительную визуализацию. Фото-детекторы сложены друг за другом, приводя к компактной системе, и каждый слой фокусируется на другой фокальной плоскости, что обеспечивает 3D визуализацию.

Команда также решила проблему отслеживания движения в реальном времени, что критично для широкого спектра автономных роботизированных приложений. Для этого им нужен был способ определения позиции и ориентации отслеживаемого объекта. Типичные подходы включают системы лидар и световые камеры, оба из которых страдают от значительных ограничений. Другие используют метаматериалы или множественные камеры. Один только hardware не был достаточен для производства желаемых результатов.

Команда построила оптическую установку и включила нейронную сеть для дешифровки позиционной информации. Нейронная сеть обучена искать конкретные объекты во всей сцене и затем фокусироваться только на объекте интереса; например, пешеход в трафике или объект, движущийся в вашу полосу на шоссе. Технология особенно хорошо работает для стабильных систем, таких как автоматизированное производство, или проецирование человеческих тел в 3D для медицинского сообщества.

Тип алгоритмов, которые команда разработала, не похож на традиционные алгоритмы обработки сигналов, используемые для давно существующих технологий визуализации, таких как рентген и МРТ. Команда продемонстрировала успех в отслеживании луча света, а также реальной божьей коровки со стеком из двух 4 × 4 (16-пиксельных) массивов графиновых фото-детекторов. Они также доказали, что их техника масштабируема. Для некоторых практических приложений потребуется всего 4000 пикселей, а для многих других — массивы 400 × 600 пикселей.

Хотя технология может использоваться с другими материалами, дополнительные преимущества графена в том, что он не требует искусственного освещения и он экологически дружелюбен.