Искусственный интеллект помогает роботу распознавать объекты на ощупь

• Новая платформа восприятия на основе машинного обучения может распознавать более 90 различных объектов наощупь.
• Он использует как визуальные, так и тактильные наблюдения, чтобы определить, соответствуют ли эти наблюдения одному и тому же объекту.

Люди умеют связывать внешний вид и материальные свойства объектов в различных модальностях. Когда мы видим ножницы, мы можем представить себе, что наши пальцы почувствовали бы при прикосновении к металлической поверхности, мы можем представить это в своем уме - не только его идентификацию, но также его размер, форму и пропорции.

С другой стороны, восприятие роботов не является мультимодальным по своей сути. Хотя существующие роботы, оснащенные передовыми камерами, способны различать два разных объекта, одно только зрение часто может оказаться неадекватным, особенно при наличии окклюзии и плохой освещенности.

Теперь исследователи из Калифорнийского университета в Беркли разработали метод, который позволяет роботу-манипулятору изучать человеческие многомодальные ассоциации. Он использует как визуальные, так и тактильные наблюдения, чтобы выяснить, соответствуют ли эти наблюдения одному и тому же объекту.

Что именно они сделали?

Исследовательская группа использовала сенсорное считывание с высоким разрешением с помощью двух датчиков GelSight (прикрепленных к пальцу робота) и сверточных нейронных сетей (CNN) для мультимодальной ассоциации.

Эти датчики генерируют показания с помощью камеры, интегрированной с гелем эластомера, которая регистрирует вмятины в геле, образовавшиеся при контакте с объектами. Эти показания затем передаются в CNN для обработки данных.

Исследователи обучили эти CNN принимать тактильные показания с датчиков и изображение объекта с камеры и определять, представляют ли эти входные данные один и тот же объект или нет. Чтобы выполнить распознавание экземпляров, они объединили тактильные показания робота с визуальным наблюдением за объектом запроса.

Ссылка:arXiv:1903.03591 | Калифорнийский университет в Беркли

Они использовали графические процессоры NVIDIA GeForce GTX 1080 и TITAN X с платформой глубокого обучения CUDA для обучения и тестирования CNN для мультимодальной ассоциации более чем на 33 000 изображений.

Робот (слева), состоящий из двух тактильных датчиков GelSight (по одному на каждом пальце) и фронтальной камеры RGB | Примеры тактильных наблюдений (в центре) и изображений объекта (справа), соответствующих одному объекту | Предоставлено исследователями

Результаты показывают, что можно распознать экземпляры объектов только по тактильным показаниям, включая экземпляры, которые никогда не использовались при обучении. Фактически, CNN превзошел некоторых добровольцев и альтернативные методы.

Что дальше?

До сих пор исследователи рассматривали только отдельные захваты. В следующем исследовании они будут использовать несколько тактильных взаимодействий, чтобы получить более полную картину объекта запроса.

Читайте:15 различных типов роботов | Разъяснил

Команда также планирует распространить свою систему на склады роботов, где роботы просматривают изображения продуктов и извлекают их, нащупывая предметы на полках. Этот новый метод можно применить к роботам в домашних условиях, чтобы заставить их извлекать объекты из труднодоступных мест.