ИИ Facebook превращает музыку в любые жанры и инструменты

Команда исследований Facebook AI создала универсальную сеть перевода музыки.

Она воспроизводит слышанное аудио и играет его обратно в различных стилях, жанрах и инструментах.

Она может обрабатывать незвучащие музыкальные источники, такие как хлопки или свист, и производить высококачественное аудио.

Как они это сделали?

Эта система ИИ основана на двух новейших технологиях:

1. Синтез высококачественного аудио авторегрессивными моделями
2. Трансформация между доменами без надзора

Авторегрессивные модели обучаются как декодеры и могут производить высококачественное и реалистичное аудио. Вторая технология отвечает за практическую сторону, поскольку управление задачами обучения в контролируемых средах потребовало бы большого набора данных множества музыкальных инструментов.

Исследователи разработали и применили универсальный энкодер к каждому входу. Это сняло бремя обучения всей сети и позволило конвертировать незвучащие музыкальные домены в любые другие встречающиеся домены.

Они обучали универсальный энкодер [через сеть путаницы доменов], гарантируя, что доменно-специфические данные не кодируются. Универсальный энкодер не запоминает входные данные, а кодирует их семантическим образом. Для этого исследователи исказили входной сигнал (аудиоформат) случайной локальной модуляцией высоты тона.

Поскольку сеть обучена как шумоподавляющий автоэнкодер, она способна восстанавливать неискаженную форму исходного входного сигнала. Система постепенно учится проецировать внедоменные входные сигналы в соответствующий выходной домен.

Исследователи обучали свою сеть на 6 типах классических музыкальных доменов, включая тысячи образцов из этих доменов. Они выполняли ускоренный cuDNN фреймворк глубокого обучения PyTorch на 8 GPU NVIDIA Tesla V100. На полное обучение сети ушло 8 дней.

Результаты

ИИ не так хорош, как профессиональные музыканты, но во многих случаях слушателям трудно отличить, какое аудио оригинальное, а какое искусственно сгенерированное.

Система может эффективно обрабатывать незвучащие музыкальные источники, такие как хлопки или свист, и производить аудио высокого качества. Можно интегрировать новые музыкальные инструменты без необходимости переобучать всю сеть.

По словам разработчиков, их работа может открыть новые двери для других сложных задач, таких как автоматическая композиция и транскрипция музыки. Более того, можно сделать декодеры более «креативными», уменьшая размер латентного пространства, что позволяет генерировать захватывающие естественные выходы в том смысле, что ассоциация с исходным аудио теряется.