Speathe

Говоря через дыхание:интеллектуальная система общения для парализованных .

Что используется в этом проекте

Компоненты оборудования

Динамик:3 Вт, 4 Ом

Android-устройство

Walabot

Raspberry Pi 3, модель B

Программные приложения и онлайн-сервисы

Python

реагировать-нативный

История

Speathe:инновационный и развивающийся метод общения для парализованных, потерявших дар речи после паралича. Даже если существуют методы для парализованного, Спит протягивает руку помощи, преобразовывая дыхание человека в слуховые звуки и передаваемые тексты. Я надеюсь, что в этом коде будет большая эволюция, и я прошу всех энтузиастов поработать над этим, чтобы сделать это эффективным средством общения для наших парализованных собратьев.

Компоненты оборудования

Компоненты Speathe

Walabot будет слушать дыхание и классифицировать его на короткие и длинные вдохи. Raspberry назначит точки и тире на короткие и длинные вдохи соответственно и добавит их, чтобы сформировать алфавит. Существуют коллекции из трех буквенных сокращений, которые имеют предопределенные значения для упрощения общения. Raspberry определит слово speathe пользователем, присваивает значение переменной и отправляет данные на сервер, работающий на python. Мобильное приложение разработано с использованием response-native, который непрерывно отправляет серверу запросы на поиск значения переменной. Когда получено ненулевое значение, мобильное приложение отображает его. Мы также предоставляем расширение, позволяющее людям отвечать парализованным, отправляя набранный пользователем текст обратно на сервер и громко произнося его парализованным.

Разработка программного обеспечения

1. Настройка Walabot SDK и программирование с использованием Python

Если у вас не установлена ​​IDE Python, Python3 доступен по адресу:https://www.python.org/downloads/

После этого вы можете загрузить Walabot SDK для своей ОС. Подробная информация об API Walabot Python доступна по адресу:https://walabot.com/api/_pythonapi.html

После установки файла.deb в исходном каталоге можно найти различные примеры программ, написанных как для C ++, так и для Python. Примеры программ также доступны на веб-сайте Walabot API. Для этого проекта я бы рекомендовал использовать программу Python BreathingExample.

2. Обнаружение дыхания и сопоставление букв

Способность валабота определять энергию дыхания используется для определения длинных и коротких вдохов. Возьмем 10-15 последовательных циклов, и если в них энергия значительно выше порогового значения, то это будет долгое дыхание, а если энергия ниже порога - короткое дыхание. При этом для каждого человека может потребоваться одноразовая калибровка.

После обнаружения длинных и коротких вдохов последовательные вдохи и упорядоченные в массив с '-' для длинных вдохов и '.' для коротких вдохов, которые могут образовывать азбуку Морзе, например ['-.-.-' ]. Определенные шаблоны кода Морзе и предопределенные для букв, и если дыхание соответствует им, эта буква произносится.

3. Буквы, слова, предложения, чувства

В первой версии Speathe мы разработали три буквенных аббревиатуры для общих фраз, используемых в повседневной жизни, чтобы парализованные не слишком много болтали. При совпадении трехбуквенного акронима значение переменной, которое принимает мобильное приложение, заменяется соответствующей фразой. Таким образом, эффективное общение возможно для тех, кто полностью парализован.

4. Сервер

Сервер работает на Raspberry Pi и полностью контролируется Python. Модуль Flask используется для запуска сервера в Raspberry Pi 3. На Raspberry Pi установлен статический IP-адрес, и сервер запускается на каком-то порте (скажем, 80).

Как установить Статический IP

1. Введите в командной строке sudo nano /etc/dhcpcd.conf.

2. Прокрутите сценарий до конца и добавьте следующие строки:

interface eth0
static ip_address =192.168.43.211
static router =192.168.43.1
static domain_name_servers =192.168.43.1
interface wlan0
static ip_address =192.168.43.211
статические маршрутизаторы =192.168.43.1
static domain_name_servers =192.168.43.1

3. Сохраните файл с помощью ctrl + o, а затем выйдите из nano с помощью ctrl + x.

4. Перезагрузитесь с помощью sudo reboot.

5. Мобильное приложение

Мобильное приложение разработано на языке react-native. Реагировать на запросы значения на том же порту сервера. Когда значение найдено, оно отображается в пользовательском интерфейсе. И если пользователь хочет вернуть что-то обратно, response-native отправит данные в какую-либо переменную на сервере, и код Python, проверяющий значение этой переменной, произнесет его громче, чтобы парализованный услышал и ответил, если это необходимо.

Мобильное приложение ищет клиента Мобильное приложение получило сообщение «Apple» от paralyzedMessage обратно на сервер

5. Тестирование

Запустите файлы python в Raspberry Pi и установите статический IP-адрес для своего Raspberry Pi. Измените IP-адрес и адрес порта в коде JavaScript и отобразите apk. В моем случае я установил IP-адрес 192.168.43.211, а apk для отладки указан в репозитории. После создания apk подключите Raspberry Pi к устройству Android через Wi-Fi и подключите walabot к Raspberry Pi. Просто откройте приложение и запустите Speathing.

Подробнее…

Speathe