Мягкие роботы используют камеру и тени для восприятия человеческого прикосновения

Исследователи создали недорогой метод для мягких, деформируемых роботов, чтобы обнаруживать ряд физических взаимодействий, от похлопываний до ударов и объятий, вообще не полагаясь на прикосновение. Вместо этого USB-камера, расположенная внутри робота, фиксирует теневые движения рук на коже робота и классифицирует их с помощью программного обеспечения для машинного обучения.

Прикосновение является важным способом общения для большинства организмов, но практически отсутствует во взаимодействии человека и робота. Одна из причин заключается в том, что раньше для касания всего тела требовалось огромное количество датчиков, и поэтому его было непрактично реализовать.

Технология ShadowSense возникла в результате работы по разработке надувных роботов, которые могли бы направлять людей в безопасное место во время экстренной эвакуации. Такой робот должен был бы иметь возможность общаться с людьми в экстремальных условиях и окружающей среде. Представьте себе робота, который физически ведет кого-то по шумному, задымленному коридору, определяя давление руки человека.

Вместо того, чтобы установить большое количество контактных датчиков, которые добавили бы вес роботу и сложную проводку, а также его было бы трудно встроить в деформирующуюся кожу, команда применила контринтуитивный подход. Чтобы оценить прикосновение, они смотрели в глаза. Поместив камеру внутрь робота, они могут сделать вывод о том, как человек прикасается к нему и каковы его намерения, просто взглянув на теневые изображения.

Робот-прототип состоит из мягкого надувного пузыря из нейлоновой кожи, натянутого вокруг цилиндрического скелета высотой примерно четыре фута, установленного на подвижной основе. Под кожей робота находится USB-камера, которая подключается к ноутбуку. Исследователи разработали алгоритм на основе нейронной сети, который использует ранее записанные данные обучения, чтобы различать шесть жестов прикосновения — прикосновение ладонью, удар кулаком, прикосновение двумя руками, объятие, указание и полное отсутствие прикосновения — с точностью 87,5. до 96 % в зависимости от освещения.

Робота можно запрограммировать так, чтобы он реагировал на определенные прикосновения и жесты, такие как откат или передача сообщения через громкоговоритель. А кожу робота можно превратить в интерактивный экран. Собрав достаточно данных, робота можно научить распознавать еще более широкий словарь взаимодействий, адаптированный под задачу робота.

Роботу даже не обязательно быть роботом. Технология ShadowSense может быть внедрена в другие материалы, такие как воздушные шары, превращая их в сенсорные устройства. В будущем исследователи попытаются использовать оптические устройства, такие как линзы и зеркала, для создания дополнительных форм-факторов.

ShadowSense также предлагает конфиденциальность. Если робот может видеть человека только в виде его тени, он может определить, что человек делает, не делая высококачественных изображений его внешности. Это обеспечивает физический фильтр и защиту, а также психологический комфорт.

Способность физически взаимодействовать и понимать движения и настроение человека может быть так же важна для человека, как и для робота.