Новый алгоритм плавно смешивает любые два аудиосигнала

• Новый алгоритм генерирует эффект портаменто между любыми двумя аудиосигналами в реальном времени.
• Он плавно смешивает частотные сегменты одного аудиосигнала с другим без увеличения / уменьшения громкости сигналов.

Музыканты используют эффект, называемый «портаменто», для перехода между нотами. Это техника перехода от одной ноты к другой без определения промежуточных нот.

Музыканты используют портаменто более 200 лет. Однако ограниченные типы инструментов могут справиться с этим эффектом. Это инструменты, высота звука которых может постоянно изменяться, например, скрипка или человеческий голос.

Недавно студент Массачусетского технологического института Тревор Хендерсон разработал алгоритм, который генерирует эффект портаменто между любыми двумя аудиосигналами в реальном времени. Он продемонстрировал возможности алгоритма, объединив различные аудиоклипы, например, одну песню, смешанную с другой, и ноту фортепиано, переходящую в человеческий голос.

Как работает алгоритм?

Алгоритм основан на многовековой геометрической структуре, известной как «оптимальный транспорт». Платформа определяет оптимальные способы перемещения точек данных между несколькими исходными и конечными конфигурациями. Его применяли для 3D-моделирования, выравнивания изображений, гидродинамики и компьютерной графики.

Хендерсон использовал эту структуру для интерполяции звуковых сигналов. Алгоритм работает путем разделения аудиосигнала на небольшие сегменты (около 50 миллисекунд). Затем он определяет наиболее эффективный способ перемещения высоты звука в отдельных сегментах на высоту звука в другом аудиосигнале.

Таким образом, алгоритм создает плавное скольжение эффекта портаменто. Он также сохраняет качество звука при переходе сигнала.

Ссылка:arXiv:1906.06763 | Массачусетский технологический институт

Обычно эффекты затухания используются для смягчения перехода между двумя аудиосигналами. Это традиционный метод, при котором громкость одного сигнала уменьшается, а громкость другого сигнала увеличивается.

Новый алгоритм, с другой стороны, плавно смешивает частотные сегменты одного аудиосигнала с другим без увеличения / уменьшения громкости сигналов.

Эта техника распространяет портаменто на различные инструменты, в том числе и на полифонические. Фактически, его можно использовать для перехода между различными наборами инструментов или любой другой парой аудиосигналов. Он генерирует четкие музыкальные результаты в реальном времени.

«Параметром интерполяции» можно управлять с помощью компонента ползунка, такого как кроссфейдер на микшерной панели ди-джея. При перемещении кроссфейдера параметр изменяется, создавая эффект портаменто.

Чтобы устранить искажения, Хендерсон использовал «переназначение частоты», применение метода однократной обработки. Это позволяет отдельным нотам легко переходить между сигналами. Он также разработал новый метод синтеза новых фаз для каждого сигнала при объединении небольших сегментов аудио, чтобы смежные сегменты не мешали друг другу.

Читайте:Facebook AI преобразует музыку из одного стиля в другой

В следующем исследовании Хендерсон попытается вернуть выход портаменто на его вход. Это может вызвать другой эффект, называемый легато, который представляет плавное непрерывное движение между разными нотами.