Мягкие роботы распознают человеческое прикосновение через камеру и тени — дешёвое бесконтактное решение

ShadowSense: камера внутри робота видит тени жестов на коже

Исследователи создали низкостоимостный метод для мягких, деформируемых роботов для обнаружения диапазона физических взаимодействий — от похлопываний до ударов и объятий — вообще не опираясь на прикосновение. Вместо этого USB камера, расположенная внутри робота, захватывает движения теней жестов рук на коже робота и классифицирует их с помощью машинного обучения.

Прикосновение — важный способ коммуникации, отсутствующий в HRI

Прикосновение — важный режим коммуникации для большинства организмов, но практически отсутствовал в человеко-роботном взаимодействии. Одной из причин было то, что полнотелое прикосновение требовало массивное количество сенсоров и поэтому было непрактично для реализации.

Происхождение: надувные роботы для эвакуации в чрезвычайных ситуациях

Технология ShadowSense возникла через работу по разработке надувных роботов, которые могли бы вести людей в безопасность во время аварийных эвакуаций. Такому роботу нужно было уметь общаться с людьми в экстремальных условиях и средах. Представьте робота, физически ведущего кого-то вниз по шумному, задымлённому коридору, обнаруживая давление руки человека.

Контр-интуитивный подход: зрение вместо тактильных сенсоров

Вместо установки большого количества контактных сенсоров — которые добавляли бы вес и сложную проводку к роботу и были бы трудны для встраивания в деформирующуюся кожу — команда выбрала контр-интуитивный подход. Для измерения прикосновения они обратились к зрению. Размещая камеру внутри робота, они могут выводить, как человек касается его и каковы намерения человека, просто глядя на теневые изображения.

Прототип: надувной бладдер с USB камерой и нейросетью

Прототип робота состоит из мягкого надувного бладдера из нейлоновой кожи, натянутой вокруг цилиндрического скелета, примерно 1.2 метра в высоту, установленного на мобильной базе. Под кожей робота USB камера, соединяющаяся с ноутбуком. Исследователи разработали алгоритм на основе нейронной сети, использующий предварительно записанные обучающие данные для различения шести жестов прикосновения — прикосновение ладонью, удар, прикосновение двумя руками, объятие, указание и отсутствие прикосновения — с точностью 87.5–96% в зависимости от освещения.

Робот можно запрограммировать для ответа на определённые прикосновения и жесты, такие как откатание или выдача сообщения через громкоговоритель. И кожа робота имеет потенциал стать интерактивным экраном. Собирая достаточно данных, робота можно обучить распознавать ещё более широкий словарь взаимодействий, 맞춤 под задачу робота.

Не только роботы: шарики, приватность, психологический комфорт

Роботу даже не обязательно быть роботом. Технология ShadowSense может быть включена в другие материалы, такие как шарики, превращая их в сенсорные к прикосновению устройства. В будущем исследователи попробуют использовать оптические устройства, такие как линзы и зеркала, для обеспечения дополнительных форм-факторов.

ShadowSense также предлагает приватность. Если робот может видеть человека только в форме их тени, он может обнаружить, что делает человек, не делая высоко-верных изображений их внешности. Это обеспечивает физический фильтр и защиту, и даёт психологический комфорт.

Способность физически взаимодействовать и понимать движения и настроения человека в конечном счёте может быть так же важна для человека, как и для робота.