SIGHT: умные очки для слабовидящих на Raspberry Pi

История

Слабовидящие и незрячие люди ежедневно сталкиваются с вызовами, которые могут казаться небезопасными. Хотя они могут локализовать объекты с минимальной помощью, доступ к красоте мира остаётся затруднённым. SIGHT преодолевает этот разрыв, предлагая реальный визуальный контекст через лёгкое носимое устройство.

Как работает SIGHT

Когда пользователь нажимает кнопку, встроенная камера захватывает изображение, TensorFlow обрабатывает его на Raspberry Pi, а динамик или наушники выдают голосовое описание. Весь конвейер работает на Android Things, гарантируя надёжность и низкое потребление энергии.

Необходимые материалы

Основные компоненты:

• Raspberry Pi 3
• Модуль камеры Raspberry Pi (5 Мп)
• Микро-кнопка
• Резистор 1 кОм
• Универсальная печатная плата (для кастомного HAT)

Инструменты:

• Паяльник
• Пятид

ПО:

• Android Things (IoT ОС)
• Android Studio (стабильная или preview)
• TensorFlow Lite
• Firebase (для опциональной облачной интеграции)

Установка Android Things на Raspberry Pi

1. Зайдите на консоль Android Things и войдите с Google-аккаунтом.
2. Нажмите Create a product, назовите (например, «Sight Pi»), выберите Raspberry Pi 3 как SOM, добавьте описание.
3. Перейдите в Factory Images, нажмите Create Build Configuration, затем скачайте полученный ZIP.
4. Распакуйте ZIP — появится .img файл — это образ Android Things.

Прошивка образа на SD-карту

Используйте Balena Etcher (или Etcher) для записи образа:

1. Вставьте micro-SD в компьютер.
2. Откройте Etcher, выберите распакованный образ, выберите SD-карту, нажмите Flash.
3. После прошивки извлеките карту и вставьте в Raspberry Pi.

Подключите Pi через Ethernet, запитайте от 5-вольтового адаптера и запишите его локальный IP (например, 192.168.0.22).

Настройка Android Studio

1. Скачайте и установите Android Studio (стабильную или preview).
2. Клонируйте или скачайте проект SIGHT с GitHub: https://github.com/FoxLabMakerSpace/SIGHT-For-the-Blind.
3. Откройте проект через Open an existing Android Studio project.
4. Подключитесь к Raspberry Pi по ADB: adb connect 192.168.0.22:5555.
5. Запустите приложение; Pi должен появиться как целевое устройство.

Проводка Raspberry Pi

Подключите компоненты следующим образом:

• Камера вCSI-порт.
• Кнопка к GPIO-пину с 1 кОм pull-up к 3,3 В.
• Динамик или наушники в 3,5-мм аудио-джек.
• Питание Pi от портативного пауэрбанка (пример с Intel).

Точное назначение пинов см. во вложенной Fritzing-диаграмме.

Тестирование системы

Включите Pi, дождитесь загрузки, нажмите кнопку для захвата изображения и послушайте голосовое описание. Убедитесь, что аудио выводится чётко перед дальнейшей работой.

Корпус и монтаж

Используйте лёгкий пластиковый корпус, вырежьте отверстия для портов, закрепите Pi и камеру на подходящей оправе очков. Покрасьте корпус для профессионального вида и зафиксируйте всю проводку, чтобы избежать запутывания.

Будущие улучшения

• Костяная проводимость звука для невидимого аудио.
• Переход на ИК-камеру для работы в темноте.
• Проектирование лёгкой эргономичной оправы очков.
• Оптимизация управления питанием с кастомной батарейной платой.
• Расширение TensorFlow-моделей для дополнительного понимания сцены.

Демо

Для живой демонстрации смотрите видео-ссылку или свяжитесь с командой проекта для практической сессии.