SonicSense: роботы слышат как люди для более умного взаимодействия

Акустическая тактильная перцепция: роботизированная рука с контактными микрофонами на кончиках пальцев

Новое исследование Duke University описывает систему SonicSense, позволяющую роботам взаимодействовать с окружением способами, ранее доступными только людям.

"Роботы сегодня в основном полагаются на зрение для интерпретации мира", — объясняет ведущий автор Цзясюнь Лю, первокурсник PhD в лаборатории Боюана Чена, профессора механической инженерии и материаловедения в Duke. "Мы хотели создать решение для работы со сложными и разнообразными объектами повседневной жизни, дающее роботам гораздо более богатую способность 'чувствовать' и понимать мир."

Архитектура SonicSense

SonicSense — роботизированная рука с четырьмя пальцами, каждый оснащён контактным микрофоном на кончике. Сенсоры детектируют и записывают вибрации, возникающие когда робот стучит, хватает или трясёт объект. Поскольку микрофоны в контакте с объектом, робот фильтрует окружающий шум.

На основе взаимодействий и обнаруженных сигналов SonicSense извлекает частотные признаки и использует предыдущие знания, парированные с недавними достижениями ИИ, чтобы определить материал объекта и его 3D форму. Если объект новый — может потребоваться 20 взаимодействий для вывода. Если в базе — верная идентификация за 4 взаимодействия.

Интервью с проф. Боюаном Ченом

Tech Briefs: Главная техническая сложность разработки SonicSense?

Чен: Первое — не было обширных исследований использования акустических вибраций для робо perceptии. Предыдущая работа — с одним пальцем или предварительная. Поставить это на реальную роботизированную руку и взаимодействовать с разнообразными объектами — нелегкая задача.

Tech Briefs: Как возник проект? Катализатор?

Чен: Интересная история. Часть 1 — "boombox", во время COVID. Хотел работать над роботами и зрением. Уже пару лет интересовался введением акустических вибраций в сенсику — мы много используем акустические вибрации. В нейронауке у кожи есть вибрационные нейроны. Читал об этом, думал как привести к роботам. Во время COVID не было доступа к роботам. Жил в маленькой общаге в NYC, но очень хотел это исследование. Случайная идея: "Что могу без роботов, чтобы показать полезность?"

Был ящик для игрушек. Бросал объекты случайно, понял: "Эй, мне нужно достать этот объект, но не знаю где он. Какой объект я бросил?" — идеальный исследовательский вопрос.

Начал с трёх деревянных коробок разной формы, бросал в ящик. Обучил ИИ предсказывать форму брошенного объекта и где он окажется, так как не мог видеть. Идея: четыре контактных микрофона на стенах ящика. Записывал только акустические вибрации с четырёх каналов. Использовал микрофоны для гитар, приклеил к ящику, обучal систему от звука к предсказанию 3D операции. Это было начало проекта.

Потом хотел сделать для роботов. По сути — рождение SonicSense.

Tech Briefs: Простыми словами — как работает?

Чен: Интегрированная hardware/software система. Hardware: роботизированный гриппер с четырьмя пальцами, в каждом кончике — встроенный контактный микрофон. Он не слышит речь, а чувствует вибрации физического контакта.

Software: позволяет роботу автономно исследовать среду простым стукиванием, захватом объекта с контейнером и встряхиванием. ПО собирает сигналы с четырёх микрофонов и моторных сигналов вместе.

Обучаем ИИ-сеть предсказывать: "Сколько кубиков в контейнере? Сколько граней у кубика? Сколько жидкости в бутылке? Сколько выливаете в другой контейнер?"

Tech Briefs: Следующие шаги?

Чен: Смотрим в пару направлений: 1) какие другие сенсорные модальности нужны для человеческого уровня детерности манипуляции. Но шире — для робототехники вообще: локомоция, навигация, всё. Есть ли новые модальности, дающие роботам возможности, которых нет у людей/животных? 2) Фьюзия имеющихся модальностей: зрение — как объединить все в когерентное понимание мира вместо одной перспективы. 3) Масштабирование морфологии и сенсорных способностей руки до большего масштаба: много сенсоров на более человекоподобной руке, демонстрация детерного манипулирования. Сейчас только перцепция объектов, хотим манипулировать с продвинутыми возможностями.