Айя

Ая - интерактивный робот, который хранит вашу фотографию, чтобы узнавать вас и взаимодействовать с вами. Победитель конкурса Hack the North 2017 и Best Use of AWS.

История

Вдохновение

Когда мы увидели, что Amazon сделала с Alexa и что Google сделал с домом, мы были уверены, что наступила эпоха компьютеризированных персональных помощников. Однако мы задались вопросом, как сделать их более человечными:Aya - это доказательство концепции персональных помощников-роботов, которые выглядят и чувствуют себя людьми.

Что он делает

Айя - интерактивный робот, который хранит ваше изображение, чтобы узнавать вас и сообщать, какой предмет вы держите.

Как мы это построили

Aya - кошмар встраиваемых систем! Интерфейс сервосистемы с аудиокодеками, работающими в разных потоках для многопроцессорной обработки.

Мы напечатали физические части на 3D-принтере (любезно предоставлено InMoov®, роботом с открытым исходным кодом). Процесс длился более 26 часов. Он был построен и собран на Hack the North 2017.

Айя использует AWS Rekognition для сравнения геометрии лиц, чтобы распознавать людей, которых она уже встретила, и знакомиться с новыми людьми. Мы выбираем нечеловеческий объект с наивысшей степенью достоверности и запускаем его через Amazon Polly, который генерирует файл .ogg. Пока все это происходит, другой поток с настраиваемыми сервоуправлениями работает параллельно, заставляя челюсть двигаться с речью.

Проблемы, с которыми мы столкнулись

Взломать оборудование сложно! Мы столкнулись с тысячей проблем, не ограничиваясь:плавлением проводов, горением макетов, перегревом сервоприводов и, конечно же, допусками деталей!

Еще одним сложным аспектом проекта было сервоуправление - для этого требовалось запустить другой поток и запустить сервоуправление в тандеме с речью.

С точки зрения программного обеспечения, поскольку Amazon Rekognition выводит только массив меток и их уровни достоверности, часто бывает сложно выбрать наиболее подходящую метку для изображения. Мы попытались решить эту проблему с помощью k - означает кластеризацию для создания групп похожих слов, а затем предложения для каждой группы. Однако, поскольку оборудование отнимало у нас так много времени, у нас, к сожалению, не было времени полностью реализовать это.

Наконец, выполнение всего этого в рамках бюджета в 36 часов (не считая сна!) было самой большой проблемой из всех, но это заставило нас соблюдать график и сделать наш проект гибким.

Достижения, которыми мы гордимся

Мы гордимся тем, что можем объединить сервосистему и программное обеспечение воедино. Больше всего мы гордимся тем, что сработали невероятно хорошо, как одна команда, с небольшими трениями и отличными результатами.

Что дальше с Аей

Мы хотим поработать над использованием TensorFlow для кластеризации вывода AWS Rekognition и pyAudioAnalysis, чтобы применить метод анализа формы волны к сгенерированному аудиофайлу, чтобы лучше синхронизировать звук с срабатыванием сервопривода.

Узнать больше…

Ая