Основы распознавания лиц

С незапамятных времен человеческое лицо служило самым простым стандартом для идентификации. Таким образом, неудивительно, что это самый удобный метод биометрической идентификации. В отличие от других биометрических методов, таких как речь, отпечатки пальцев, геометрия руки, отпечаток ладони, анализ лица не требует активного взаимодействия со стороны рассматриваемого объекта. Распознавание лиц можно выполнять по фото, видео или снимкам в реальном времени.

Распознавание лиц - это широкий термин, обозначающий процесс идентификации или проверки людей на фотографиях и видео. Этот метод включает обнаружение, выравнивание, извлечение признаков и распознавание.

Несмотря на ряд практических проблем, распознавание лиц находит широкое применение в различных областях, таких как здравоохранение, правоохранительные органы, бронирование железнодорожных билетов, безопасность, домашняя автоматизация и офисы.

В этом посте вы узнаете следующее:

• Что такое распознавание лиц?
• Широкая классификация алгоритмов распознавания лиц.
• Различные этапы системы распознавания лиц.
• Обзор строительных блоков для распознавания лиц.
• Взгляните на SDK для распознавания лиц.

Что такое распознавание лиц?

Распознавание лиц - это метод биометрической идентификации, при котором программное обеспечение использует алгоритмы глубокого обучения для анализа черт лица человека и хранения данных. Затем программа сравнивает различные лица на фотографиях, видео или снимках в реальном времени с лицами, хранящимися в базах данных, и проверяет личности. Обычно программа определяет около 80 различных узловых точек на лице человека. Узловые точки служат конечными точками для определения переменных лица человека. Переменные включают - форму губ, глаз, длину и ширину носа, а также глубину глазниц.

Популярность распознавания лиц по сравнению с другими биометрическими методами объясняется тем фактом, что оно обычно бывает более точным и наименее навязчивым.

Классификация алгоритма распознавания лиц Распознавание лиц - это метод распознавания лица, которое уже было зарегистрировано в базе данных. Система распознавания лиц обычно выполняет две задачи - проверка . и идентификация .

Проверка предназначена для ответа на вопрос:«Является ли он тем человеком, за которого он себя выдал?» Когда человек утверждает, что он конкретный человек, система проверки находит его профиль в базе данных. Он сравнивает лицо человека с лицом в профиле в базе данных, чтобы проверить, совпадают ли они. Это система сопоставления один-к-одному, поскольку система должна сопоставлять лицо человека с конкретным лицом, уже присутствующим в связанном профиле. Таким образом, проверка выполняется быстрее, чем идентификация, и более точна.

При идентификации лица система пытается сравнить входное лицо со всеми лицами, присутствующими в ее базе данных. Это система соответствия "1 к n".

Различные этапы системы распознавания лиц

Давайте поговорим о двух этапах системы распознавания лиц: регистрация и признание .

На первом этапе или этапе регистрации регистрируется набор известных лиц. Затем средство извлечения признаков генерирует уникальный вектор признаков для каждого зарегистрированного лица. Вектор признаков создается на основе уникальных черт лица каждого из лиц. Извлеченный вектор признаков, который является уникальным для каждого лица, становится частью зарегистрированной базы данных и может использоваться для дальнейшего использования.

На этапе распознавания входное изображение предоставляется экстрактору признаков для распознавания лиц. Здесь также экстрактор признаков генерирует вектор признаков, уникальный для входного изображения лица. Затем этот вектор признаков сравнивается с векторами признаков, уже имеющимися в базе данных. Блок «классификация на основе признаков» сравнивает расстояние между характеристиками лица входящего лица и зарегистрированными лицами в базе данных. Когда зарегистрированное лицо соответствует критериям соответствия, классификация на основе признаков возвращает соответствующий идентификатор лица, найденный в базе данных.

Строительные блоки системы распознавания лиц

Основными компонентами системы распознавания лиц являются:обнаружение лиц, обнаружение ориентиров, обнаружение живости, модуль распознавания лиц (распознавание лиц, идентификация лиц / проверка лиц).

Вначале изображение или кадр из видеопотока отправляется в модуль обнаружения лиц, где лица обнаруживаются по входному изображению. В качестве выходных данных он отправляет координаты ограничивающей рамки для обнаруженных лиц. Загвоздка здесь в том, что даже несмотря на то, что детектор лиц локализует лица изображения и создает ограничивающую рамку для каждого лица, он не гарантирует правильного выравнивания лиц, а ограничивающие рамки лица подвержены дрожанию. Таким образом, для получения эффективного вектора лица требуется этап предварительной обработки лица. Этот этап помогает улучшить способность системы распознавать лица.

Предварительная обработка лица выполняется в блоке обнаружения ориентира, который определяет местоположение опорных точек (также называемых реперными опорными точками) на лице, таких как глаза, нос, губы, подбородок, челюсть. Эти обнаруженные ориентиры лица затем компенсируются с учетом пространственных изменений лица. Это делается путем определения геометрической структуры лица и получения канонического выравнивания на основе различных преобразований, таких как поворот масштабирования смещения. Это выводит плотную ограничивающую рамку лица с нормализованными каноническими координатами.

Перед тем, как мы отправим выровненное лицо в модуль распознавания лиц, важно проверить наличие подделки лица, чтобы убедиться, что лицо взято из прямой трансляции изображения или видео и не является подделкой для получения несанкционированного доступа. Детектор живости выполняет эту проверку.

Затем изображение отправляется в следующий блок, который является блоком распознавания лиц. Этот блок выполняет ряд задач обработки до успешного завершения распознавания лиц. Первым шагом является обработка лица, которая требуется для обработки внутриклассовых вариаций входного лица. Это важный шаг, потому что мы не хотим, чтобы модуль распознавания лиц отвлекался на такие вариации, как разные позы, выражения, изменения освещения и окклюзии, присутствующие во входном изображении лица. После того, как внутриклассовые вариации на грани ввода были разрешены, следующим важным шагом обработки является извлечение признаков. Функция экстрактора признаков уже обсуждалась выше.

Заключительным этапом модуля распознавания лиц является этап сопоставления лиц, на котором выполняется сравнение векторов признаков, полученных на последнем этапе, и зарегистрированных векторов лиц в базе данных. На этом этапе вычисляется сходство и генерируется оценка сходства, которая в дальнейшем используется либо для идентификации лица, либо для проверки лица в соответствии с требованиями.

Пример SDK для распознавания лиц

Мы будем использовать лицензируемое программное решение SDK для распознавания лиц от PathPartner, чтобы показать, как реализовать точную систему обнаружения и распознавания лиц. Этот SDK, состоящий из алгоритмов машинного обучения и компьютерного зрения, позволяет выполнять шесть важнейших задач по распознаванию лиц.

SDK поставляется в двух вариантах:

1. Вариант низкой сложности с размером модели всего 10 МБ, подходящий для конечных устройств с малым объемом памяти и вычислительной мощностью.
2. Вариант повышенной сложности с размером модели 90 МБ, подходящий для полнофункциональных граничных устройств.

Алгоритм оптимизирован для ряда встраиваемых платформ от Texas Instruments, Qualcomm, Intel, Arm, NXP и может в дальнейшем работать на платформах облачных серверов.

Разработка системы распознавания лиц на основе CNN

Подход, основанный на CNN, предпочтительнее, чем подход, основанный на CNN, чтобы уменьшить усилия по борьбе с такими проблемами, как окклюзия и различные условия освещения. Процесс распознавания включает следующие этапы:

Сбор данных

Общедоступные наборы данных не охватывают все параметры оценки, которые имеют решающее значение для распознавания лиц. Следовательно, для этого требуется подробный сравнительный анализ ряда стандартных и собственных наборов данных, охватывающих широкий диапазон вариаций, которые можно использовать для анализа лиц. В этом SDK поддерживаются следующие варианты:поза, освещение, выражение, окклюзия, пол, происхождение, этническая принадлежность, возраст, глаз, внешний вид.

Разработка модели глубокого обучения

Сложность модели зависит от приложения конечного пользователя. Этот SDK реализован в системах мониторинга водителей (DMS) и интеллектуальных системах учета рабочего времени.

Система мониторинга водителя:для оценки бдительности и сосредоточенности водителя в режиме реального времени необходимы периферийные вычисления. Таким образом, требуется устойчивая система невысокой сложности. Здесь модель машинного обучения используется для обнаружения лиц и регрессии ориентиров, а мелкая и глубокая модель CNN - для оценок и классификаций.

Обучение и оптимизация

Модули предварительно обучаются на изначально подготовленном наборе данных. Решение протестировано на различных наборах данных с открытым исходным кодом, таких как FDDB, LFW и наборе данных собственной разработки.

Преодоление различных проблем

1. Варианты освещенности - для решения проблемы, связанной с изменением условий освещения, используются два подхода. Одним из них является преобразование RGB в изображения, подобные NIR, с использованием подходов на основе диаграммы Ганта. Другой пример - обучение модели с использованием данных RGB и ее точная настройка с использованием изображений NIR на входе.
2. Варианты позы и выражения лица - если изображения лиц доступны из не фронтального вида, канонический вид изображения лица должен быть получен из одного или нескольких доступных изображений. Это достигается путем оценки изменения позы по отношению к углам головы на основе контрольных точек, а затем с помощью наклона, растяжения, зеркального отражения и других операций для получения фронтального курса. Это позволяет системе распознавания лиц выводить инвариантные позы представления и значительно повышает точность распознавания лиц. Чтобы бороться с эффектами из-за различий в выражении лица, выравнивание лица выполняется на этапе предварительной обработки.
3. Окклюзия - в настоящее время SDK обучается распознавать лица в масках. В этом случае модель обучается работать только с данными вокруг глаз и лба; однако этот подход дает наилучшие результаты в неконтролируемой среде, например в офисе, когда в системе зарегистрировано ограниченное количество людей.
4. Внешний вид - различия в стилях волос, старение и использование косметики могут привести к серьезным различиям во внешности людей. Таким образом, в значительной степени ухудшается точность распознавания лиц. Чтобы решить эту проблему, SDK использует схему представления и сопоставления, устойчивую к изменениям внешнего вида.

Заключение

Сегодня распознавание лиц считается самым естественным из всех биометрических измерений. Глубокое обучение стало центральным компонентом большинства разрабатываемых алгоритмов распознавания лиц. Алгоритмы распознавания лиц демонстрируют экспоненциальный прогресс. Согласно недавнему отчету NIST, за последние пять лет (2013–2018 гг.) Был достигнут значительный прирост точности распознавания, и он превосходит улучшения, достигнутые в период 2010–2013 гг.

Несмотря на ряд практических проблем, технология распознавания лиц широко используется в различных отраслях, таких как розничная торговля, автомобилестроение, банковское дело, здравоохранение, маркетинг и многие другие. Алгоритмы распознавания лиц не только повышают точность распознавания человека, но и расширяют сферу их применения при обнаружении эмоций и поведения лиц.