Обнаружение беспилотных летательных аппаратов с помощью компьютерного зрения

Аннотация

С развитием технологий безопасность становится самой большой проблемой. Экспоненциально растущая доступность дронов представляет серьезную угрозу для общей безопасности. Использование БПЛА увеличилось за последние несколько лет. Имея в виду проблемы безопасности, здесь предлагается решение. Сначала обнаружьте БПЛА, а затем отследите их путь.

Для обнаружения объектов очень эффективны алгоритмы глубокого обучения Computer Vision. Ввод обрабатывается YOLO, нейронной сетью, используемой для обнаружения и отслеживания объектов в реальном времени.

2.1 Понимание концепции БПЛА

Согласно заголовку «Обнаружение и отслеживание БПЛА с помощью компьютерного зрения», БПЛА (беспилотный летательный аппарат) это летательный аппарат без пилота, которым можно управлять дистанционно или с помощью бортовых компьютеров.

БПЛА можно использовать в полезных целях, например в сельском хозяйстве, научных исследованиях, прогнозировании погоды, доставке грузов, спасательных операциях и здравоохранении. Его можно использовать для целей стихийных бедствий, таких как атаки, ракетные атаки, уничтожение целей и т. д.

2.2 Что такое компьютерное зрение?

Компьютерное зрение это область науки, которая заставляет компьютеры видеть, идентифицировать и обрабатывать изображения так, как это делает человеческий глаз, и обеспечивать надлежащий результат. Компьютерное зрение используется практически во всех областях, например:

• Объект, распознавание лиц
• Роботизированная хирургия и медицинская диагностика
• Обработка изображений
• Сельское хозяйство
• Космические технологии (Марсоход НАСА включает в себя возможности моделирования ландшафта планеты, обнаружения препятствий на его пути и объединения панорамных изображений). Применение компьютерного зрения показано на рисунке 1.4.

2.3 Что такое метод обработки изображений?

Обработка изображений техника используется компьютерным зрением для выполнения различных задач. Выполняемая операция и методы, применяемые для улучшения качества изображения или получения определенного результата после получения стека изображений, называются обработкой изображения.

Обработка изображений сегодня считается одной из наиболее быстро развивающихся областей информационных технологий, число приложений которой растет во всех сферах бизнеса. Приложения обработки изображений:

Примеры использования обработки изображений

Обработку изображений можно использовать в следующих областях:

• Робототехника
• Медицина
• Распознавание образов
• Обработка видео
• Распознавание лиц

  2.4 Требования к программному обеспечению

• Анаконда
• Спайдер
• Питон
• Библиотека Open-CV

3. Алгоритмы обнаружения объектов

Для обнаружения объектов существует множество алгоритмов. Вот некоторые из них:

• ВУАЛЯ И ДЖОНС
• Сверточные нейронные сети (CNN)
• Вы только посмотрите один раз (YOLO)
• Детектор одиночного выстрела (SSD)
• Региональные сверточные нейронные сети (R-CNN)

Таблица 3.1:Алгоритмы обнаружения

Алгоритм	Описание	Сила	Слабость
ВУАЛЯ    И ДЖОНС  (Виола-Джонс Алгоритм был разработан Полом Виолой и Майклом Джонсом в 2001 г.)	Основной целью было обнаружение лиц и объектов. Он может обнаруживать объекты в режиме реального времени. Когда мы даем алгоритмы изображения, они смотрят на меньшие подобласти и пытаются найти объекты, просматривая специальные функции в каждой подобласти. Алгоритм Виолы и Джонса использует функции, подобные Хаару, для обнаружения объектов	Надежный Очень высокий уровень обнаружения. Используйте разные классификаторы для разных частей изображения Быстро Хорошо определяет края и линии	Не удается обнаружить наклоненные или повернутые лица. Чувствителен к условиям освещения Не удается обнаружить движущиеся объекты
CNN (Сверточные нейронные сети), представленные Кунихико Фукусимой в 1980 году	Иерархическая модель, вдохновленная биологией, которую можно обучить для точного обнаружения, распознавания и сегментации. По сути, это алгоритм глубокого обучения, он принимает изображения в качестве входных данных, присваивает обучаемые веса и смещения объектам, присутствующим на изображении, и различает одно от другого	Определить функции путем обучения (поэтому степень свободы выше). Используйте единую классификацию для полного изображения. Применяет матричную операцию. Точно.	Требуется большой набор данных Дорого.
YOLO    (Вы смотрите только один раз)	Это алгоритм обнаружения в реальном времени. Он применяет алгоритм нейронной сети к изображению и делит изображение на сетку S x S, создает границу вокруг изображений и прогнозирует возможности для каждой из границ. Он использует регрессию.	Может обнаруживать несколько объектов на одном изображении. Выполнение в реальном времени Очень быстро Высокая производительность Фоновых ошибок нет	1. Обнаруживает один объект на ячейку сетки. 2.  Предпочтите высокую производительность точности.
SSD (детектор одиночного выстрела)	В этом  методе для обнаружения нескольких объектов требуется только один снимок. Этот метод очень быстрый. Он предназначен для реализации в режиме реального времени. Он содержит два компонента:основу и головку SSD.	Больше времени вычислений Высокая точность Компромисс точности умеренный	Хорошая производительность для объектов большого размера, но немного хуже для объектов небольшого размера Сквозное обнаружение слишком медленное. Вычислительно дорого.

Здесь будет использоваться алгоритм нейронной сети Yolo. Этот алгоритм очень быстр для реализации в реальном времени. Он использует алгоритм нейронной сети и делит изображение на сетку S x S и создает границу вокруг изображения, чтобы предсказать возможности для каждой границы. Алгоритмы обнаружения приведены в таблице 4.4.

3.1 Алгоритм отслеживания

После обнаружения объекта следующий фокус находится на отслеживании. Если обнаруженный объект — воздушный змей или птица, отслеживание не требуется, но если обнаруженный объект — дрон, то цель отслеживается.

Для отслеживания объектов используется множество алгоритмов. Но снова YOLO используется для отслеживания, потому что этот алгоритм быстрый и точный, и он может обнаруживать и отслеживать до тех пор, пока цель не выйдет за пределы диапазона камеры.

4. Внедрение предложенного дизайна

Вот реализация предложенного дизайна. В котором выполняются все шаги, необходимые для запуска проекта в программном обеспечении.

4.1 Начальный этап

1. Обработка изображений требует хорошего ЦП/ГП, выберите ЦП. Установите Anaconda с веб-сайта Установка Anaconda показана на рисунке 4.1.
2. После установки Anaconda Navigator создайте среду с помощью диалогового окна среды и выберите версию Python.
   

3. После успешного создания среды следующим шагом будет установка Spyder, так как он прост в использовании. Затем установите open CV с помощью команды pip install cv2.

4.2 Подготовка набора данных

1. Соберите множество изображений различных воздушных объектов, таких как дроны, птицы, самолеты, вертолеты, воздушные змеи и воздушные шары.

Примечание. Создание набора данных — это больше, чем просто сбор изображений. Давать названия изображениям, а также указывать положение этих конкретных объектов на каждом изображении. Для этого программа под названием Labellmg может используется, который преобразует изображения в текстовые файлы. Как показано на рис. 4.6

1. После создания Txt-файлов всех объектов. Поместите все изображения и текстовые файлы в zip-файл. Кроме того, файл имен для включенных классов.

4.3 Конфигурация YOLO

Для настройки выполните следующие действия: 

1. Установите даркнет с YOLO v3.
2. Для настройки YOLO создайте папку в darknet/data, содержащую все изображения и файлы .txt ранее созданного набора данных.
3. Чтобы создать собственный файл конфигурации, внесите необходимые изменения в YOLO v3 cfg, настроив пакет, подразделение и максимальное количество пакетов в отношении классов и шагов.
4. При вводе количества классов измените сверточный слой над YOLO. Также установите random равным 1. параметры cfg показаны в таблице 4.1

Таблица 4.1:Параметры CFG

Имя	Описание
Пакетная обработка	Сколько изображений и меток используется в прямом проходе для вычисления градиента и обновления весов с помощью метода обратного распространения.
Подразделения	Пакет разбит на множество «блоков». Образы блока запускаются параллельно.
Шаги	500 1000:отрегулируйте скорость обучения после 500 и 1000 пакетов.
Слои (фильтры)	Сколько ядер свертки в слое.
Слои (случайные)	Поместите слои YOLO. Если установлено значение 1, выполняйте увеличение данных, изменяя размер изображений до разных размеров каждые несколько пакетов, что используется для обобщения размеров объектов.

1. Создайте папку Custom object через data/obj.names, в которой будут записаны все имена, которые мы хотим обнаружить, такие как дроны, БПЛА, птицы, воздушные змеи и т.д.
2. В obj.data включены и сохранены количество классов, train.txt, действительные имена и папки с весами.
3. В train.txt сохраняются все данные и названия изображений.

4.4 Обучение YOLO работе с вашим набором данных

Обучение YOLO индивидуальному набору данных также осуществляется через даркнет. Клонируйте и включите даркнет, а также включите открытое резюме. Взяв папку ZIP, файл .cfg, файл .names, файл obj.data и файл train.txt, созданные выше, затем настройте сеть даркнета для обучения YOLO v3, подсчитывая казни.

После тысяч итераций, которые могут занять около 2 часов в зависимости от мощности нашего ЦП, обученный набор данных будет готов к использованию и интеграции с нашей системой со средними потерями.

4.5 Тестирование кода на входе изображения и видео

После обучения YOLO для настроенного набора данных начните тестировать код на обученном наборе данных, который называется весами YOLO. В данном случае у него 4 класса.

Попробуйте обнаружение YOLO на другом устройстве. Большие веса хороши с точки зрения точности, но обработка немного медленная из-за низкого количества кадров в секунду. Сделайте видео БПЛА, птиц и передайте эти данные в качестве входных данных для кода. Все объекты будут успешно обнаружены и отслежены с метками, заданными частотой кадров и порогом.

Теперь код можно протестировать для сценариев в реальном времени с помощью ввода веб-камеры в реальном времени, изменяя диапазон нашей камеры, управляя нашим БПЛА, с записью результата, который вы увидите в соответствии с требованиями «Обнаружение и отслеживание БПЛА».