Insight: мягкий тактильный сенсор повышает тактильную чувствительность роботов

В статье в Nature Machine Intelligence команда MPI-IS представила надежный мягкий тактильный сенсор «Insight», использующий компьютерное зрение и глубокую нейросеть для точной оценки контакта и величины сил. Значительный шаг к тому, чтобы роботы чувствовали среду как люди и животные. Как и натуральный кончик пальца, сенсор высокочувствителен, надежен, высокого разрешения.

Конструкция

Большепальцевидный сенсор: мягкая оболочка вокруг легкого жесткого скелета (как кости стабилизируют ткани). Оболочка из эластомера с темными рефлектирующими алюминиевыми хлопьями — непрозрачная серая, блокирующая внешний свет. Внутри — 160-градусная «рыбий глаз» камера, освещенная кольцом LED.

Принцип работы

При касании меняется цветовой узор внутри. Камера пишет кадры много раз в секунду, кормя глубокую нейросеть. Алгоритм детектирует малейшие изменения света в каждом пикселе. За долю секунды обученная модель картографирует контакт, силу и направление — выдает вектор силы для каждой точки 3D-кончика пальца (force map).

«Отличная чувствительность за счет инновационного дизайна оболочки, адаптированной системы визирования, автоматического сбора данных и передового глубокого обучения», — Георг Мартиус, руководитель группы MPI-IS. «Гибридная структура: мягкая оболочка + жесткий скелет = высокая чувствительность и робастность. Камера улавливает микродеформации с одного кадра», — его аспирант Хуанбо Сань.

Сенсор достаточно чувствителен, чтобы чувствовать свою ориентацию относительно гравитации.

Обучение

Хуанбо Сань разработал стенд для генерации обучающих данных: зонд пробует всю поверхность, записывая истинный вектор силы и изображение камеры. ~200 000 измерений за 3 недели, обучение модели — 1 день. Долгий эксперимент доказал робастность. Тесты с крупным зондом показали обобщающую способность.

Тактильная фовеа

Особая зона в форме ногтя с более тонким эластомером (1,2 мм против 4 мм) — для детекции крошечных сил и детальных форм объектов.

«Аппаратное и программное решение переносимо на разные робототехнические части. ML-архитектура, обучение и инференс обобщимы», — Хуанбо Сань.