MrRobot: Ubuntu Mobile-приложение для управления роботом Rapiro голосом, касанием и встряхиванием

MrRobot — это Ubuntu Mobile приложение, которое оживляет робота Rapiro через интуитивные голосовые, тактильные и моционные управления. Разработано за 28 часов во время Ubuntu Shenzhen Hackathon, проект демонстрирует, как мобильные устройства могут бесшовно взаимодействовать с робототехникой, используя открытое железо и ПО.

Весь исходный код, прошивка Arduino и 3D-печатаемые детали свободно доступны, позволяя хоббистам и профессионалам собирать свой Rapiro и расширять систему.

Что вы узнаете

1. Развертывание Qt-базированного Ubuntu Mobile приложения из SDK на устройство.
2. Интеграция API распознавания голоса и текста wit.ai для создания hands-free командного интерфейса.
3. Настройка Raspberry Pi сервера, слушающего WebSocket-сообщения от мобильного приложения.
4. Проектирование удобного UI с триггерами касания, встряхивания и голоса.

Спецификация материалов (BOM)

1. Ubuntu Mobile телефон или планшет.
2. Raspberry Pi с Wi‑Fi донглом.
3. Набор робота Rapiro.
4. Опционально: музыкальная коробка для аудиовоспроизведения.

Необходимое ПО

1. Ubuntu Qt SDK (для разработки приложения).
2. Raspbian OS на Raspberry Pi.
3. Arduino IDE (если хотите собрать робота с нуля).
4. wit.ai API ключ для обработки голоса.

Обзор проекта

Приложение предлагает три интерактивные модальности:

• Касание — прямое нажатие экранных элементов для команды роботу.
• Встряхивание — акселерометр устройства детектирует жесты движения для запуска действий робота.
• Голос — выделенная кнопка начинает запись аудио; после отпускания речь отправляется в wit.ai для интерпретации естественного языка и передачи роботу через WebSocket.

Шаг 1: Сборка мобильного приложения

Следуйте детальным инструкциям на GitHub странице проекта для установки Ubuntu Qt SDK, конфигурации проекта и развертывания приложения на вашем Ubuntu Mobile устройстве.

Шаг 2: Развертывание WebSocket-сервера на Raspberry Pi

Подключите Pi к локальной Wi‑Fi сети через донгл, затем клонируйте репозиторий сервера. Запустите сервер и настройте автозапуск при загрузке, добавив команду в /etc/rc.local.

Шаг 3: Сборка железа

Аккуратно разберите голову Rapiro, установите Raspberry Pi на выделенную пластину, подключите аудиокабель и Wi‑Fi донгл. Pi теперь служит мостом между мобильным приложением и Arduino-платой робота.

Получите код

Весь код и 3D-файлы доступны на GitHub: https://github.com/eminors/MrRobot.

Наслаждайтесь сборкой и настройкой своего голосоуправляемого робота!