Алгоритм портаменто в реальном времени бесшовно объединяет любые два аудиосигнала

Новый алгоритм генерирует эффект портаменто между любыми двумя аудиосигналами в реальном времени

Он бесшовно смешивает частотные сегменты одного аудиосигнала в другой, не увеличивая/уменьшая громкость сигналов.

Музыканты используют эффект, называемый «портаменто», для перехода между нотами. Это техника скольжения от одной ноты к другой без фактического определения промежуточных нот.

Музыканты используют портаменто более 200 лет. Однако ограниченные типы инструментов могут реализовать этот эффект. Это инструменты, которые могут непрерывно менять высоту тона, как скрипка или человеческий голос.

Недавно студент MIT — Тревор هندرسон — разработал алгоритм, генерирующий эффект портаменто между любыми двумя аудиосигналами в реальном времени. Он продемонстрировал способность алгоритма, объединяя разные аудиоклипы, такие как одно песня, перетекающая в другую, и ноту пианино, скользящая в человеческий голос.

Как работает алгоритм?

Алгоритм основан на вековой геометрической структуре, известной как «оптимальный транспорт». Структура определяет оптимальные способы перемещения точек данных между множественными исходными и целевыми конфигурациями. Она применялась к 3D-моделированию, выравниванию изображений, динамике жидкостей и компьютерной графике.

Хендерсон использовал эту структуру для интерполяции аудиосигналов. Алгоритм работает, разделяя аудиосигнал на маленькие сегменты (около 50 миллисекунд). Затем он определяет наиболее эффективный способ перемещения высот тона в отдельных сегментах к высотам в другом аудиосигнале.

Таким образом, алгоритм генерирует плавное скольжение эффекта портаменто. Он также сохраняет аудиофидельность при переходе сигнала.

Источник: arXiv:1906.06763 | MIT

Обычно используются эффекты затухания для смягчения перехода между двумя аудиосигналами. Это традиционный метод, в котором громкость одного сигнала снижается, в то время как громкость другого поднимается.

Новый алгоритм, с другой стороны, бесшовно смешивает частотные сегменты одного аудиосигнала в другой, не увеличивая/уменьшая громкость сигналов.

Эта техника расширяет портаменто на различные инструменты, включая полифонические. Фактически, она может использоваться для перехода между разными наборами инструментов или любой другой парой аудиосигналов. Она генерирует четкие музыкальные результаты в реальном времени.

«Параметр интерполяции» может управляться компонентом слайдера, таким как кроссфейдер на пульте диджея. Когда вы двигаете кроссфейдер, параметр меняется, производя эффект портаменто.

Чтобы устранить искажения, Хендерсон использовал «перераспределение частот», применение техники однопроцессорной обработки. Это позволяет отдельным нотам легко переходить между сигналами. Он также разработал новый метод синтеза новых фаз для каждого сигнала при слиянии маленьких сегментов аудио, чтобы соседние сегменты не мешали друг другу.

В следующем исследовании Хендерсон попытается подать выход портаменто обратно на вход. Это может создать другой эффект, называемый легато, представляющий плавное, непрерывное движение между разными нотами.