Искусственный интеллект Facebook трансформирует музыку в разных жанрах и инструментах

• Исследовательская группа Facebook по искусственному интеллекту создает универсальную сеть перевода музыки. 
• Он копирует услышанный звук и воспроизводит его в различных стилях, жанрах и на инструментах. 
• Он может обрабатывать неслышимые музыкальные источники, такие как хлопки или свист, и создавать высококачественный звук.

Что касается музыки, люди всегда проявляли творческий подход к копированию песен и превращению их в различные другие формы, хлопая в ладоши, насвистывая или играя на разных инструментах.

Хотя музыка – одна из первых областей, которая оцифровывается и обрабатывается с помощью вычислительных машин и алгоритмов, современный искусственный интеллект по-прежнему значительно уступает человеческому в имитации звука.

Теперь исследовательская группа Facebook по искусственному интеллекту разработала универсальную сеть перевода музыки, которая может конвертировать музыку из одной формы в другую. Он копирует музыку, которую слышит, и воспроизводит ее в разных стилях, жанрах и на инструментах.

Как они это сделали?

Эта система искусственного интеллекта основана на двух новейших технологиях

1. Синтезирование высококачественного звука с помощью авторегрессионных моделей
2. Неконтролируемое преобразование между доменами

Авторегрессионные модели обучаются как декодеры и могут создавать высококачественный и реалистичный звук. Вторая технология отвечает за повышение практичности, поскольку для решения задач обучения в контролируемых средах потребуется большой набор данных из множества музыкальных инструментов.

Исследователи разработали и применили универсальный кодировщик к каждому входу. Это сняло нагрузку с обучения всей сети и позволило преобразовать неслыханные музыкальные домены в любые другие встреченные домены.

Сетевая архитектура | Путаница доменов применяется только во время обучения 

Они обучили универсальный кодировщик [через сеть путаницы предметной области], гарантируя при этом, что данные, специфичные для предметной области, не закодированы. Универсальный кодер не запоминает входные данные, а кодирует их семантическим способом. Для этого исследователи исказили входной сигнал (аудиоформат) с помощью случайной локальной модуляции высоты тона.

Ссылка: arXiv:1805.07848

Поскольку сеть обучена как автокодировщик с шумоподавлением, она способна восстанавливать неискаженную форму исходного входного сигнала. Система постепенно учится проецировать входные сигналы вне домена в соответствующий выходной домен.

Исследователи обучили свою сеть шести типам классической музыки, включая тысячи сэмплов из этих областей. Они выполнили среду глубокого обучения PyTorch с ускорением cuDNN на 8 графических процессорах NVIDIA Tesla V100. На полное обучение сети им потребовалось 8 дней.



Результаты

Искусственный интеллект не так хорош, как у профессиональных музыкантов, но иногда слушателям трудно отличить оригинальный звук, а какой — искусственно созданный.

Система может эффективно обрабатывать неслышимые музыкальные источники, такие как хлопки или свист, и воспроизводить звук превосходного качества. Можно интегрировать новые музыкальные инструменты без необходимости переобучения всей сети.

Читайте:Роботы Facebook с искусственным интеллектом закрылись – что произошло на самом деле?

По мнению разработчиков, их работа может открыть новые возможности для решения других сложных задач, таких как автоматическое сочинение и транскрипция музыки. Более того, можно сделать декодеры более «творческими», уменьшив размер скрытого пространства, что позволит им генерировать захватывающие естественные выходные данные в том смысле, что теряется связь с оригинальным звуком.



Крошечный дом в мире:20-микрометровая микроструктура Прогнозируйте свою продолжительность жизни с помощью искусственного интеллекта, используя данные вашего см…