Мягкий датчик повышает чувствительность кончиков пальцев роботов

В статье, опубликованной в журнале Nature Machine Intelligence , группа ученых из Института интеллектуальных систем Макса Планка (MPI-IS) представила надежный мягкий тактильный датчик под названием «Insight», который использует компьютерное зрение и глубокую нейронную сеть для точной оценки того, где объекты вступают в контакт с датчиком и как. большие приложенные силы. Исследовательский проект является важным шагом на пути к тому, чтобы роботы могли чувствовать окружающую среду так же точно, как люди и животные. Как и его естественный аналог, сенсор на кончике пальца очень чувствителен, надежен и имеет высокое разрешение.

Датчик в форме большого пальца состоит из мягкой оболочки, построенной вокруг легкого жесткого каркаса. Этот скелет удерживает структуру так же, как кости стабилизируют мягкую ткань пальца. Оболочка изготовлена ​​из эластомера, смешанного с темными, но отражающими алюминиевыми чешуйками, что придает непрозрачный сероватый цвет, препятствующий попаданию внутрь любого внешнего света. Внутри этой крышки размером с палец спрятана крошечная 160-градусная камера «рыбий глаз», красочные изображения, подсвеченные кольцом светодиодов.

Статьи по теме

Мягкий тактильный датчик с характеристиками, сравнимыми с кожей, для роботов

Мягкий датчик контролирует давление

Когда какие-либо предметы касаются корпуса сенсора, внешний вид цветового узора внутри сенсора меняется. Камера записывает изображения много раз в секунду и передает эти данные в глубокую нейронную сеть. Алгоритм обнаруживает даже самое маленькое изменение света в каждом пикселе. В течение доли секунды обученная модель машинного обучения может определить, где именно палец касается объекта, определить, насколько сильны силы, и указать направление силы. Модель выводит то, что ученые называют картой силы:она предоставляет вектор силы для каждой точки трехмерного кончика пальца.

«Мы достигли таких превосходных характеристик обнаружения благодаря инновационной механической конструкции корпуса, специальной системе визуализации внутри, автоматическому сбору данных и передовому глубокому обучению», — сказал Георг Мартиус, руководитель исследовательской группы Макса Планка в MPI-IS, где он возглавляет Автономную обучающую группу. «Наша уникальная гибридная структура мягкой оболочки с жестким каркасом обеспечивает высокую чувствительность и надежность. Наша камера может обнаружить даже малейшие деформации поверхности по одному изображению», — добавил его доктор философии. студент Хуанбо Сунь. Во время тестирования сенсора исследователи поняли, что он достаточно чувствителен, чтобы определять собственную ориентацию относительно гравитации.

Но как обучается такой датчик? Huanbo Sun разработала испытательный стенд для создания обучающих данных, необходимых для модели машинного обучения, чтобы понять корреляцию между изменением необработанных пикселей изображения и приложенными силами. Стенд исследует датчик по всей его поверхности и записывает истинный вектор контактной силы вместе с изображением камеры внутри датчика. Таким образом, было сгенерировано около 200 000 измерений. На сбор данных ушло почти три недели и еще один день на обучение модели машинного обучения. Выживание в этом длительном эксперименте с таким количеством различных контактных сил помогло доказать надежность механической конструкции Insight, а тесты с большим датчиком показали, насколько хорошо система датчиков обобщает.

Еще одной особенностью датчика в форме большого пальца является то, что он имеет зону в форме гвоздя с более тонким слоем эластомера. Эта тактильная ямка предназначена для обнаружения даже крошечных сил и детальных форм объектов. Для этой сверхчувствительной зоны ученые выбрали толщину эластомера 1,2 мм, а не 4 мм, как для остальной части датчика пальца.

«Аппаратное и программное обеспечение, которое мы представляем в нашей работе, может быть перенесено на самые разные части роботов с различными формами и требованиями к точности. Архитектура машинного обучения, обучение и процесс логического вывода носят общий характер и могут быть применены ко многим другим конструкциям датчиков», — сказал Хуаньбо Сунь.