SonicSense:предоставление роботам возможности слушать, как люди, для более разумного взаимодействия

Новое исследование Университета Дьюка подробно описывает систему под названием SonicSense, которая позволяет роботам взаимодействовать с окружающей средой способами, ранее доступными только людям.

«Сегодняшние роботы в основном полагаются на зрение, чтобы интерпретировать мир», — объяснил ведущий автор Цзясюнь Лю, доктор философии-первокурсник. студент лаборатории Боюана Чена, профессора машиностроения и материаловедения Университета Дьюка. «Мы хотели создать решение, которое могло бы работать со сложными и разнообразными объектами, встречающимися ежедневно, давая роботам гораздо более широкие возможности «чувствовать» и понимать мир».

SonicSense имеет роботизированную руку с четырьмя пальцами, каждый из которых оснащен контактным микрофоном, встроенным в кончик пальца. Эти датчики обнаруживают и записывают вибрации, возникающие, когда робот постукивает, захватывает или встряхивает объект. А поскольку микрофоны соприкасаются с объектом, робот может игнорировать окружающие шумы.

На основе взаимодействий и обнаруженных сигналов SonicSense извлекает частотные характеристики и использует свои предыдущие знания в сочетании с последними достижениями в области искусственного интеллекта, чтобы выяснить, из какого материала сделан объект и его трехмерную форму. Если это объект, который система никогда раньше не видела, системе может потребоваться 20 различных взаимодействий, чтобы прийти к выводу. Но если объект уже находится в его базе данных, он может правильно идентифицировать его всего за четыре.

Вот эксклюзивные Технические обзоры интервью с Ченом, отредактированное для обеспечения длины и ясности.

Технические обзоры :С какой самой большой технической проблемой вы столкнулись при разработке SonicSense?

Чен :Я думаю, во-первых, на самом деле не проводилось обширных исследований по использованию акустических вибраций для восприятия роботами. Большая часть предыдущей работы выполнялась одним пальцем или была очень предварительной. Но перенести это на настоящую роботизированную руку и получить возможность взаимодействовать с множеством возможных объектов — непростая задача.

Технические обзоры :Как появился этот проект? Что послужило катализатором вашей работы?

Чен :Это очень интересная история. Первая часть моей работы называлась «Бумбокс», это было во время COVID. Я думал, что хочу заняться роботами и зрением. Итак, несколько лет назад я уже интересовался использованием акустических вибраций в зондировании, потому что мы часто используем акустические звуковые вибрации.

В нейробиологии кожа человека имеет вибрационные нейроны. Итак, я читал об этих вещах и думал о том, как мы можем перенести это на роботов. Но во время COVID у меня не было доступа к роботам. Я защитил докторскую диссертацию. в Колумбийском университете, поэтому я жил в небольшом общежитии в Нью-Йорке, но мне очень хотелось провести это исследование. Однажды у меня возникла случайная идея:«Что я могу сделать без роботов, чтобы показать, что это полезно?»

У меня в комнате была корзина для игрушек. Беспорядочно бросая туда предметы, я понял:«Эй, мне нужно пойти и забрать этот предмет, но я не знаю, где он». Какой предмет я туда бросил?» Это был идеальный вопрос для исследования.

Я начал с трех разных деревянных коробок разной формы и бросил их в мусорное ведро. Я обучил систему искусственного интеллекта, которая предсказывала форму объекта, который я бросал, и то, где этот объект оказался после того, как я его бросил, потому что я не мог его видеть. Вот в чем был проект.

Идея заключалась в том, что у вас будет четыре контактных микрофона. Вы прикрепляете их к стенке контейнера. Вы записываете только акустические колебания с четырех каналов микрофонов. Я использовал микрофоны, которые улавливают звук гитары. Я положил их в мусорное ведро и обучил систему переходить от звука к прогнозированию этой трехмерной операции. И это было начало проекта.

Потом, конечно, мне захотелось сделать это для роботов. Это, по сути, место рождения SonicSense.

Технические обзоры :Можете ли вы объяснить простыми словами, как это работает?

Чен :Это интегрированная аппаратно-программная система. Аппаратная часть имеет роботизированный захват с четырьмя пальцами, в каждый из кончиков пальцев встроен контактный микрофон. Этот контактный микрофон не улавливает то, что мы говорим, но улавливает вибрации физического контакта.

Программное обеспечение в основном позволяет роботу автономно экспортировать окружающую среду, просто постукивая или захватывая объект контейнером и встряхивая его. Программное обеспечение соберет вместе сигналы от четырех контактных микрофонов и сигналы моторов.

Мы обучаем сеть искусственного интеллекта прогнозировать такие вещи, как «Сколько кубиков у вас в контейнере?» Сколько ребер у этой кубика? Сколько жидкости у вас в этой бутылке с водой? Сколько вы переливаете в другой контейнер?»

Технические обзоры :Каковы ваши дальнейшие действия?

Чен :Мы рассматриваем пару новых идей, прежде всего, о том, какие еще способы восприятия необходимы нам для достижения ловкости манипулирования на человеческом уровне. Но еще больше для более широкого содержания робототехники, а не только для манипуляций. А также для передвижения, навигации и всего остального. Есть ли другие сенсорные модальности, которые нам нужны? Таким образом, одним из направлений является изучение новых методов, которые могут позволить роботам или дать роботам возможности, которых нет даже у людей или животных.

Еще одно направление, которое мы рассматриваем, — это другие возможности, которые у нас уже есть в роботах. Например, видение — и как нам объединить все модальности вместе, чтобы получить целостное понимание мира, а не только одну точку зрения? Таким образом, нужно объединить множество сенсорных модальностей и достичь единого понимания.

Третье направление, которое мы рассматриваем, — это довести это до настоящих человеческих векторов манипулирования — нынешняя конструкция во многом является прототипом. Мы хотим сделать это, масштабируя как морфологию, так и сенсорную способность руки в гораздо большем масштабе. Это означает размещение множества датчиков на руке, гораздо более похожей на человеческую, и по-настоящему продемонстрировать возможности ловких манипуляций. Сейчас мы просто занимаемся восприятием объектов, но хотим иметь возможность манипулировать объектами с гораздо более продвинутыми возможностями.

Расшифровка

00:00:00 мы представили Sonic sense - интегрированную аппаратную и программную среду, позволяющую распознавать акустическую вибрацию для восприятия объектов роботами Rich. В недавней работе было использовано распознавание акустической вибрации для материала объекта и прогнозирование положения классификации по категориям, оценивающее количество и поток зернистого материала и коллективно выполняющее пространственное рассуждение объекта

00:00:23 визуальная реконструкция, однако предыдущая работа была сосредоточена на небольшом количестве примитивных объектов с однородным составом материала, ограничивала настройки для сбора данных и тестирования одним пальцем, поэтому неясно, может ли измерение акустической вибрации быть полезным для восприятия объектов в шумных и менее контролируемых условиях, которые мы

00:00:44 настоящее время Sonic sense целостный дизайн аппаратного обеспечения и алгоритмов для восприятия объектов за счет улучшения восприятия акустической вибрации. Наша рука робота имеет четыре пальца. Электрический контактный микрофон встроен в каждый кончик пальца, а вокруг противовеса установлен на внешней поверхности корпуса, чтобы увеличить импульс движения пальцев. Наша интуитивно понятная механическая конструкция

00:01:07 включает ряд интерактивных движений. Примитивы для восприятия объектов, включая постукивания, захватывающие и встряхивающие движения. Встроенный контактный микрофон способен улавливать высокочастотные акустические вибрации, создаваемые контактом между объектами или взаимодействием рук с объектами. Наш робот может делать выводы о геометрии и инвентарном состоянии различных объектов внутри контейнера из

00:01:31 их уникальные сигнатуры акустических вибраций во время взаимодействия мы получаем 12 интерпретируемых характеристик на основе традиционных методов обработки акустических сигналов, чтобы помочь различать эти различные сигнатуры акустических вибраций. Мы выполнили неконтролируемое нелинейное уменьшение размерности с помощью tne на этом 12-мерном векторе признаков, встряхнув контейнер, который может сделать наш робот

00:01:54 успешно различаем разное количество кубиков или кубиков разной формы внутри контейнера, когда наливаем воду в бутылку, которую держит наш робот. Мы можем обнаружить тонкие различия в акустических сигнатурах на основе разного количества воды внутри бутылки. Наш робот также может обнаруживать разное количество воды внутри бутылки, если встряхнуть ее еще раз.

00:02:15 сложных задач по восприятию объектов мы разработали набор данных с 83 разнообразными объектами реального мира. Наши объекты охватывают девять категорий материалов и разнообразную геометрию от простых примитивов до сложных форм, в отличие от предыдущей работы, в которой люди вручную держат руку робота для взаимодействия с объектами или разрабатывают фиксированные позы взаимодействия и силы для воспроизведения, мы получили простой, но эффективный

00:02:40 политика взаимодействия на основе эвристики для автономного сбора реакции акустической вибрации объектов. Наша политика хорошо работает для всех наших объектов реального мира, охватывающих переменные размеры и геометрию. Мы обучили модель классификации материалов, которая принимает мел-спектрограмму нашего собранного сигнала акустической вибрации из звука удара и учится прогнозировать

00:03:02 метка материала сеть принимает форму трех слоев сверточной нейронной сети, за которыми следуют два слоя MLP. Начальный результат нашего метода приводит к показателю F1 0,523, однако мы заметили, что материалы объекта относительно однородны и гладки в локальных областях. Основываясь на этом предположении, мы можем итеративно уточнять наш прогноз, наше окончательное среднее значение F1

00:03:25 оценка достигает 0,763. Наша модель построения формы Recon использует редкие и зашумленные точки контакта для создания плотной и полной трехмерной формы объекта. Мы складываем два остроконечных слоя для кодирования входных данных, а затем передаем глобальный вектор объекта в сеть декодера с полностью связанными слоями для создания окончательного облака точек. Наши результаты получили среднее значение z. З

00:03:50 Z 876 M чемпион по оценке расстояния прогнозирование объектов примитивной формы обычно имеет почти идеальную производительность, кроме того, наш метод демонстрирует способность реконструировать объекты сложной формы только с помощью лонжеронов и шумного контакта. Оценки точек, когда объект взаимодействовал с роботом, с его реакциями акустической вибрации, к которым мы стремимся

00:04:13 пусть наш робот повторно идентифицирует объект с помощью набора из 15 новых постукивающих взаимодействий. Мы вводим в сеть 15 наборов Мел-спектрограмм и связанных с ними контактных точек, чтобы предсказать метку этого объекта среди 82 объектов в нашем наборе данных. Наш робот может повторно идентифицировать тот же объект с точностью более 92%. Наш робот обладает сильной устойчивостью к окружающей среде

00:04:37 шумы и фокусируется только на вибрационных сигналах при физическом контакте, что обеспечивает высокое качество и надежность данных датчиков в сложных условиях окружающей среды. Вся рука робота стоит 215 долларов США с коммерчески доступными компонентами и 3D-печатью. Результаты наших экспериментов демонстрируют универсальность и эффективность нашей конструкции при различных восприятиях объектов

00:05:01 задачи, включая оценку состояния запасов твердых и жидких объектов в контейнерах, классификацию материалов, 3D-реконструкцию формы и повторную идентификацию объектов в целом, наш метод вносит уникальный вклад в тактильное восприятие с помощью акустических вибраций и открывает новые возможности для будущих конструкций роботов для создания более надежных комплектов

00:05:23 универсальная и целостная перцептивная модель мира