Интеграция Microsoft Kinect с Raspberry Pi для детекции людей в реальном времени на роботе Sonbi

A. Цель

Наша задача — развернуть полнофункциональный программный стек на Raspberry Pi робота Sonbi, подключить Microsoft Kinect и заставить робота приветствовать людей махом рук при детекции человека перед сенсором.

B. Аппаратная система

• Raspberry Pi с 8 ГБ флеш-памяти
• Контроллер сервоприводов Pololu Maestro 24-канальный
• Microsoft Kinect (RGB-камера, датчик глубины, ИК-эмиттер, многомикрофонная решётка, акселерометр)
• Блок питания ATX 500 Вт
• Макетные платы, проводка, механические компоненты

Спецификации Raspberry Pi

• 700 МГц ARM1176JZF-S ядро
• 512 МБ SDRAM
• MicroUSB 5 В вход питания
• Ethernet, HDMI, два USB порта для периферии
• Работает на Raspbian OS — широкая поддержка сообщества

Pololu Maestro 24

• 24 независимых сервоканала
• Частота импульсов до 333 Гц
• Память скриптов до 8 КБ
• До 1,5 А на канал
• Питание по USB или через power header
• Программируемый через нативный API или кастомную прошивку

Подключение Raspberry Pi к Pololu

• Простая TTL-последовательная схема: питание, земля, Tx-Rx, Rx-Tx
• Освободите дефолтную сериальную консоль Pi, отредактировав /etc/inittab и /boot/cmdline.txt
• Подробности в этом туториале

Возможности Microsoft Kinect

• RGB-камера (1280×960) для цветных изображений
• ИК-эмиттер и датчик глубины для 3D-маппинга расстояний
• Четырёхмикрофонная решётка для аудиозахвата и локализации звука
• 3-осевой акселерометр (±2 G) для определения ориентации
• Вертикальный диапазон наклона: 27°
• 30 кадров в секунду

C. Интеграция Kinect с Raspberry Pi

Так как нативные драйверы Kinect только для Windows, установка необходимых библиотек на Linux-базированном Raspberry Pi затратна по времени, но необходима. Ниже шаги процесса.

1. Установка драйверов Kinect

• Выбор между Libfreenect (user-space драйвер) или OpenNI (высокоуровневый фреймворк). Мы установили оба для максимальной гибкости.
• Libfreenect поддерживает RGB/глубину, управление мотором, акселерометр, LED; аудио — экспериментально.
• OpenNI даёт кроссплатформенный SDK для глубины, аудио, скелетного трекинга.

2. Сборка Libfreenect

sudo apt-get install git-core cmake pkg-config build-essential libusb-1.0-0-dev
git clone https://github.com/OpenKinect/libfreenect
cd libfreenect
mkdir build
cd build
cmake -L ..
make # optional: cmake --build .

3. Сборка OpenNI

sudo apt-get install g++ python libusb-1.0-0-dev freeglut3-dev
cd Platform/Linux/CreateRedist
./RedistMaker
sudo ./install.sh
# optional: make mono_wrapper && make mono_samples

D. Программный стек и рантайм

Робот загружает скрипт bootscript_sonbi.sh, запускающий модуль детекции лиц:

python facedetect.py --cascade=face.xml 0

Скачайте предобученный Haar-cascade файл здесь: face.xml. Скрипт стримит RGB-поток Kinect, детектирует лица в реальном времени и сигналит исполняемому файлу Sonbi активировать сервоприводы для дружелюбного приветствия.

E. Резюме действий

При детекции человека Kinect захватывает глубинное изображение, алгоритм подтверждает лицо, и Pololu Maestro командует сервоприводами рук Sonbi выполнить приветственный мах. Интеграция демонстрирует применимость потребительского железа для интерактивной робототехники.