ИИ в реальном времени мгновенно колоризирует черно-белые видео с беспрецедентной точностью

• Новый алгоритм глубокого обучения позволяет редакторам быстро колоризировать все видео, колоризируя один кадр в сцене.
• Он высокоточен, эффективен и до 50 раз быстрее предыдущих методов.

Видео состоят из большого количества избыточных данных между кадрами, и требуется огромное количество времени для ручной колоризации каждого черно-белого кадра. Эти типы избыточности широко изучались в кодировании и сжатии видео, но меньше исследовались в передовых задачах видеопроцессинга, таких как колоризация клипа.

Существует множество алгоритмов (например, билинейная CNN-модель, similarity-guided filtering, оптический поток на основе варпинга), которые обрабатывают локальные отношения между последовательными кадрами для распространения данных. Они либо используют видимое движение, либо предпроектированные пиксельные признаки для моделирования сходства между кадрами и пикселями.

Однако у этих алгоритмов есть несколько ограничений: например, они не могут выражать высокоуровневые отношения между кадрами и не могут точно отражать структуру изображения. Чтобы преодолеть эти ограничения, исследователи NVIDIA разработали новый алгоритм на основе метода глубокого обучения, который позволяет редакторам быстро колоризировать весь клип, колоризируя единственный кадр в сцене.

Как это работает?

Для явного обучения высокоуровневого сходства между последовательными кадрами исследователи разработали временную сеть распространения (temporal propagation network), состоящую из компонента распространения для передачи характеристик (например, цвета) одного кадра в другой. Для этого она использует матрицу линейного преобразования, управляемую сверточной нейронной сетью (CNN).

CNN решает, какие цвета должны быть перенесены из колоризированного кадра и заполняет их в остальных черно-белых кадрах. Чем эта техника отличается от других, спросите вы? Ну, лучшая колоризация может быть получена через интерактивный подход, в котором редактор аннотирует часть изображения, что приводит к готовому продукту.

Для обучения распространению во временной области исследователи наложили 2 правила. Во-первых, распространение между кадрами должно быть обратимым. Во-вторых, целевой элемент должен сохраняться на протяжении всего процесса.

Они показали, что предложенная техника не требует никаких методов сегментации на основе изображения для достижения достойных результатов, сопоставимых с существующими передовой методологиями.

Ссылка: arXiv:1804.08758 | NVIDIA

Для обучения этой сети исследователи использовали GPU NVIDIA Titan XP. Она обучена на сотнях клипов из нескольких наборов данных для высокого динамического диапазона, цвета и распространения масок. Сеть настроена на датасете ACT, упакованном с 7,260 видео-последовательностями с примерно 600,000 кадрами.

Преимущества предложенной техники

1. Высокая точность: Новый метод достигает гораздо лучшего качества видео по сравнению с предыдущими работами.
2. Высокая эффективность: Он выполняется в реальном времени, что до 50 раз быстрее предыдущих методов. Он дальше повышает эффективность, обрабатывая все видео-кадры параллельно.

Читайте: ИИ Nvidia может конвертировать 30fps видео в 240fps

Текущая техника предлагает простой способ распространения данных во времени в клипах. В будущем исследователи попытаются выяснить, как включить высокоуровневые визуальные подсказки вроде трассировки, семантики, сегментации для временного распространения.