ОБНАРУЖЕНИЕ ЧЕЛОВЕКА РОБОТА SONBI С ИСПОЛЬЗОВАНИЕМ KINECT И МАЛИНЫ PI

А. ЦЕЛЬ

Чтобы создать программную систему Raspberry Pi внутри Sonbi и
интегрировать Microsoft Kinect в Raspberry Pi и сделать его
интерактивным с роботом Sonbi таким образом, чтобы люди стояли перед
Kinect, робот Sonbi машет людям руками.

Б. АППАРАТНАЯ СИСТЕМА

У Сонби есть следующие базовые аппаратные элементы, установленные внутри его
нагрудного шасси:
• Raspberry Pi с 8 ГБ флэш-памяти
• Pololu Maestro 24
• Microsoft Kinect
• Блок питания ATX 500 Вт
• Разные детали (прототипные платы, провод, механика)

Raspberry pi:

• Базовый процессор ARM1176JZF-S с тактовой частотой 700 МГц
• 512 МБ SDRAM
• Питание от microUSB (5 В)
• Ethernet, HDMI и 2 порта USB для периферийных устройств
• Raspbian OS
• Широко используется, много документации!

Pololu maestro 24

• 24 канала
• Частота импульсов до 333 Гц
• Размер скрипта до 8 КБ
• До 1,5 А на канал
• 2 варианта питания USB / разъем питания
• Поддержка сценариев или собственного API

Интерфейс Raspberry Pi и Pololu

• Простое подключение
- Питание, Gnd, Tx-Rx и Rx-Tx
• Последовательный порт TTL
- По умолчанию Pi использует последовательный порт для ввода / вывода консоли
- Отредактируйте / etc / inittab и /boot/cmdline.txt, чтобы изменить
по умолчанию и свободный последовательный порт для использования
• Отличное руководство по адресу:
http://shahmirj.com/blog / raspberry-pi-and-pololu-servocontroller-using-c
Microsoft Kinect:
• Камера RGB, которая хранит трехканальные данные с разрешением 1280 × 960
. Это делает возможным получение цветного изображения.
• Инфракрасный (ИК) излучатель и ИК-датчик глубины. Излучатель
излучает инфракрасные лучи, а датчик глубины считывает инфракрасные
лучи, отраженные обратно к датчику. Отраженные лучи
преобразуются в информацию о глубине,
измеряющую расстояние между объектом и датчиком. Это делает возможным захват изображения
глубины.
• Многомассивный микрофон, содержащий четыре микрофона
для записи звука. Поскольку имеется четыре микрофона,
можно записывать звук, а также определять местоположение
источника звука и направление звуковой волны.
• 3-осевой акселерометр, настроенный для диапазон 2G, где G - это ускорение свободного падения. Можно использовать
акселерометр для определения текущей ориентации
Kinect

Угол вертикального наклона:27 градусов
• Частота кадров:30 кадров в секунду

В. ИНТЕГРАЦИЯ РОДА С МАЛИНОЙ PI

Ниже приведены шаги, предпринятые для интеграции Kinect с
Raspberry Pi.

Подключение Microsoft Kinect и его драйверов сенсора к raspberry pi:

Этот процесс - одна из утомительных частей проекта, так как нужно знать, что Kinect работает в Windows, и чтобы заставить его работать в операционной системе на базе unix, нам нужно вручную установить все библиотеки и драйверы, связанные с ним, что является трудно и требует много человеко-часов на решение проблем. Предпринятые шаги, а также библиотеки и список установленных пакетов приведены в разделе «Создание программных систем».

Использование всех возможностей Kinect:

Чтобы использовать все функции Kinect, такие как датчики глубины, ИК-датчик, микрофон и двигатели для наклона камеры, нам нужны библиотеки, которые могут это сделать. На RPI по умолчанию установлены OpenCV и Open GL / GLES, но они еще не поддерживают (очень скоро будут) датчики глубины и двигатели, поэтому нам нужно установить пакет OpenNI или Libfreenect. Достаточно одного, но я решил установить оба. Чтобы проверить и понять, вы можете запустить примеры программ, которые доступны в папках OpenNI и Libfreenect. Я уже выполнил и построил двоичные файлы. Его можно запустить, просто зайдя в папку «bin» и запустив образцы программой
./"sample ».

Д. СОЗДАНИЕ СИСТЕМЫ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ

Libfreenect:
Libfreenect - это драйвер пользовательского пространства для Microsoft Kinect. Он работает на
Linux, поддерживает
• RGB и изображения глубины
• Двигатели
• Акселерометр
• LED
Работа со звуком еще продолжается
Для сборки libfreenect вам понадобится
• libusb> =1.0.13
• CMake> =2.6
• python ==2. * (только если BUILD_AUDIO или BUILD_PYTHON)
Для примеров вам понадобится
• OpenGL (в составе OSX)
• перенасыщение (входит в OSX)
• pthreads-win32 (Windows)
git clone https:/ /github.com/OpenKinect/libfreenect cd libfreenect mkdir build cd
build cmake -L .. make # если у вас нет make или не хотите выводить цвет #
cmake –build

sudo apt-get install git-core cmake pkg-config build-essential libusb-1.0-0-dev
sudo adduser $ USER video sudo adduser $ USER plugdev # необходимо? # только если вы
создаете примеры:sudo apt-get install libglut3-dev libxmu-dev libxi-dev

Обертки:

Интерфейсы к различным языкам предоставляются в оболочках /. Не гарантируется, что обертки
будут стабильными или актуальными для API.
• C (с использованием синхронного API)
• C ++
• C #
• python
• рубиновый
• сценарий действий
• Java (JNA)

OpenNI:

Требования:
1) GCC 4.x
От:http://gcc.gnu.org/releases.html
Или через apt:sudo apt-get install g ++
2) Python 2.6 + / 3.x
От:http://www.python.org/download/
Или через apt:sudo apt-get install python
3) LibUSB 1.0.x
От:http://sourceforge.net/projects/libusb/files/libusb-1.0/
Или через apt:sudo apt-get install libusb-1.0-0-dev
4) FreeGLUT3
От:http://freeglut.sourceforge.net/index.php#download
Или через apt:sudo apt-get install freeglut3-dev
5) JDK 6.0
От:
http://www.oracle.com/technetwork/java/javase/downloads/jdk6u32-downloads-1594644.html
Или через apt:sudo add-apt-repository “ деб

Необязательные требования (для создания документации):
1) Doxygen
От:
http://www.stack.nl/~dimitri/doxygen/download.html#latestsrc
Или через apt:sudo apt-get install doxygen
2) GraphViz
Из:http://www.graphviz.org/Download_linux_ubuntu.php
Или через apt:sudo apt-get install graphviz

Создание OpenNI:

1) Перейдите в каталог:«Platform / Linux / CreateRedist».
Запустите сценарий:«./RedistMaker».
Это скомпилирует все и создаст пакет redist в
Каталог «Platform / Linux / Redist». Он также создаст дистрибутив в
каталоге «Platform / Linux / CreateRedist / Final».
2) Перейдите в каталог:«Platform / Linux / Redist».
Запустите сценарий:«Sudo ./install.sh» (необходимо запускать от имени пользователя root)
Сценарий установки копирует ключевые файлы в следующее место:
Библиотеки в:/ usr / lib
Папки в:/ usr / bin
Включает в:/ usr / include / ni
Файлы конфигурации в:/ var / lib / ni
Если вы хотите создать оболочки Mono, также запустите «make
mono_wrapper »и« make mono_samples »

Э. ОБНАРУЖЕНИЕ ЛИЧНОСТИ И ДЕЙСТВИЯ SONBI:

Raspberry PI запускает программу bootscript_sonbi.sh
«bootscript_sonbi.sh» запускает команду «python facedetect.py
–cascade =face.xml 0»
Вам понадобится чтобы загрузить этот обученный файл лица:
http://stevenhickson-code.googlecode.com/svn/trunk/AUI/Imaging/face.xml
facedetect.py запускает алгоритм распознавания лиц и запускает
Исполняемый файл «Sonbi». Бинарный файл Sonbi отвечает за приведение в действие сервомоторов
. Блок-схема процесса представлена ​​ниже.

Источник:SONBI ROBOT ОБНАРУЖЕНИЕ ЧЕЛОВЕКА С ИСПОЛЬЗОВАНИЕМ KINECT И МАЛИНЫ PI