Новый ИИ Google выделяет отдельные голоса в шумной толпе

Google разработал новый ИИ, который может сфокусироваться на конкретном голосе в переполненной зоне.

Он использует комбинацию визуальных и аудиальных сигналов для разделения голосов.

Технология также имеет потенциал для лучшей системы субтитров видео для перекрывающихся спикеров, путем предобработки распознавания речи.

Как это сделано?

Инженеры собрали огромное количество качественных YouTube-видео ток-шоу и лекций для создания обучающих выборок. Затем они отфильтровали 2000 часов клипов из этих видео. Отфильтрованное видео имело чистый голос — без шума аудитории, смешанной музыки и фоновых помех.

Затем они использовали этот контент для создания комбинации видео лиц с их ассоциированной речью и фоновым шумом из разных источников. Они обучали многопоточную сверточную нейросеть для разделения голосов отдельных спикеров из видео со смешанной речью.

И спектрограммное представление саундтрека, и миниатюры лиц спикеров в каждом кадре (извлеченные из видео) вводятся в нейросеть. Сеть постепенно учится (период обучения) кодировать аудиальные и визуальные сигналы и объединять их вместе, чтобы создать единый аудиовизуальный контент.

В то же время сеть также учится предоставлять время-частотные маски для отдельных спикеров. Затем она умножает шумные входные спектрограммы на маски, чтобы вывести чистую речь, подавляя интерференции и шум.

Детали реализации

Сеть реализована на TensorFlow (открытый фреймворк машинного обучения), и ее операции используются для выполнения волнового преобразования и короткого временного преобразования Фурье. Все слои сети, кроме слоя маски, сопровождаются активациями Rectified Linear Unit.

Пакетная нормализация выполняется для всех сверточных слоев. Для этого они использовали размер пакета 6 образцов и обучали 5 миллионов пакетов (шагов). Аудио пересэмплируется до 16 кГц, а стерео-аудио превращается в моно для расчета короткого временного преобразования Фурье.

Все эмбеддинги лиц пересэмплируются до 25 кадров в секунду перед обучением, что привело к входному визуальному потоку из 75 эмбеддингов лиц. Они использовали нулевые векторы при обнаружении отсутствующих кадров в конкретном образце.

Применения

Технология может иметь бесчисленные приложения: от аудио-распознавания в видео до улучшения речи, особенно там, где говорят несколько людей. Она расширит типы микрофонов, которые можно использовать в различных аудио-средах. Но пока YouTube и Hangouts кажутся двумя легкими местами для начала. В конечном счете, это может быть применено к усиливающим слух наушникам и Google Glass.

Также техника имеет потенциал для лучшей системы субтитров видео для перекрывающихся спикеров, путем предобработки распознавания речи. Эта функция сделает легче для глухих людей участвовать в телеконференциях и наслаждаться видеороликами.