Facebook представляет MelNet: ИИ, точно копирующий любой голос
Новая модель глубокого обучения MelNet воспроизводит человеческую интонацию с пугающей точностью
После обучения она может регенерировать чей угодно голос за несколько секунд. Исследователи демонстрируют, как точно она может клонировать голос Билла Гейтса.
В последние годы наблюдались огромные достижения в методах машинного обучения. Эти техники отлично работали в распознавании объектов, лиц и генерации реалистичных изображений.
Однако когда речь идет об аудио, искусственный интеллект — что-то вроде разочарования. Даже лучшие системы текст-в-речь лишены базовых функций, таких как изменения интонации. Слышали ли вы машино-генерированный голос Стивена Хокинга? Иногда очень трудно понять его предложения.
Теперь ученые из Facebook AI Research разработали метод преодоления ограничений существующих систем текст-в-речь. Они построили генеративную модель — названную MelNet — которая может производить человеческую интонацию с пугающей точностью. Фактически, она может говорить бегло чьим угодно голосом.
Чем MelNet отличается от существующей машинной речи?
Большинство алгоритмов глубокого обучения обучаются на больших аудиобазах для регенерации реальных речевых паттернов. Главная проблема с этой методологией — тип данных. Обычно эти алгоритмы обучаются на записях аудиоволн, которые имеют сложные структуры на кардинально различных временных масштабах.
Эти записи представляют, как амплитуда звука меняется во времени: одна секунда аудио содержит десятки тысяч временных шагов. Такие волны отражают определенные паттерны на ряде разных масштабов.
Существующие генеративные модели волн (такие как SampleRNN и WaveNet) могут только бэкпропагировать через долю секунды. Поэтому они не могут уловить высокоуровневую структуру, возникающую на масштабе нескольких секунд.
MelNet, с другой стороны, использует спектрограммы (вместо аудиоволн) для обучения сетей глубокого обучения. Спектрограммы — это 2D представления времени-частоты, показывающие весь спектр аудиочастот и то, как они меняются во времени.
Паттерны спектрограммы и волны одного и того же 4-секундного аудиоконтента
В то время как 1D временные волны захватывают изменение во времени одной переменной (амплитуды), спектрограммы захватывают изменение по разным частотам. Таким образом, аудиоинформация упакована плотнее в спектрограммах.
Это позволяет MelNet производить безусловную речь и музыкальные сэмплы с согласованностью на протяжении нескольких секунд. Она также способна на условную генерацию речи и синтез текст-в-речь полностью сквозным способом.
Источник: arXiv:1906.01083 | GitHub
Чтобы уменьшить потерю информации и ограничить чрезмерное сглаживание, они моделировали высокорезолюционные спектрограммы и использовали высокоэкспрессивную авторегрессивную модель соответственно.
Результаты впечатляют
Исследователи обучили MelNet на многочисленных TED-токах, и она смогла регенерировать голос спикера, произносящий случайные фразы за несколько секунд. Ниже два примера MelNet, использующей голос Билла Гейтса для произнесения случайных фраз.
Хотя MelNet создает замечательно реалистичные аудиоклипы, она не может генерировать более длинные предложения или абзацы. Тем не менее, система может улучшить компьютерно-человеческое взаимодействие.
Многие разговоры в службе поддержки включают короткие фразы. MelNet может использоваться для автоматизации таких взаимодействий или замены текущей автоматизированной голосовой системы для улучшения опыта вызывающего.
С негативной стороны, технология поднимает призрак новой эры фейкового аудиоконтента. И как и другие достижения в ИИ, она поднимает больше этических вопросов, чем ответов.
