Aya: Премированный интерактивный робот-ассистент на базе AWS

Aya — это премированный интерактивный робот, использующий AWS Rekognition для распознавания лиц и идентификации объектов, а также Amazon Polly для генерации естественной речи.

История создания

Вдохновение

Увидев Amazon Alexa и Google Home, мы загорелись идеей создать по-настоящему человекообразного персонального ассистента. Aya — наш концепт-робот, сочетающий человеческую внешность с передовым ИИ.

Что она умеет

Aya сохраняет фото пользователя для распознавания и может определять объект перед собой, сообщая результат голосом.

Как мы это построили

Создание Aya потребовало сложной встроенной системы: управление сервоприводами работало в отдельных потоках от аудиокодеков, обеспечивая одновременную речь и движение челюсти. Корпус был 3D-печатан по открытому дизайну InMoov за 26 часов во время хакатона Hack the North 2017. Система опирается на AWS Rekognition для сравнения лиц, Amazon Polly для синтеза речи и параллельный поток для реального времени управления сервоприводами.

Проблемы

Аппаратные препятствия включали плавившиеся провода, сгоревшие макетные платы, перегрев сервоприводов и проблемы с допусками. Синхронизация управления сервоприводами с речью требовала тщательной многопоточности. На стороне софта выбор наиболее релевантной метки из массива уверенности Rekognition оказался сложным; мы исследовали k-means кластеризацию, но нехватка времени не позволила полноценную реализацию. Всё это за 36-часовой хакатон с минимальным сном заставило нас оставаться гибкими и сфокусированными.

Достижения, которыми гордимся

Мы успешно интегрировали сервосистему со стеком ПО и поддерживали отличную командную работу, что дало отполированный финальный продукт.

Планы на будущее

Дальнейшая работа: применение TensorFlow для кластеризации выходов Rekognition и использование pyAudioAnalysis для более точной синхронизации аудиоволн с движением сервоприводов.

Читать подробнее…

Aya