Искусственный интеллект в реальном времени мгновенно раскрашивает черно-белые видео с непревзойденной точностью

• Новый алгоритм глубокого обучения позволяет монтажерам быстро раскрашивать все видео, раскрашивая один кадр сцены. 
• Это очень точный, эффективный и до 50 раз быстрее, чем предыдущие методы. 

Видео состоит из большого количества избыточных данных между кадрами, и раскрашивание каждого черно-белого кадра вручную занимает много времени. Эти типы избыточности были тщательно изучены при кодировании и сжатии видео, но менее изучены при расширенной обработке видео, такой как раскрашивание клипа.

Существует множество алгоритмов (таких как двусторонняя модель CNN, фильтрация на основе сходства, деформация на основе оптического потока), которые обрабатывают локальные связи между последовательными кадрами для распространения данных. Они либо используют видимое движение, либо заранее разработанные функции на уровне пикселей для моделирования сходства между кадрами и пикселями.

Однако эти алгоритмы имеют ряд ограничений, например, они не могут выражать высокоуровневые связи между кадрами и не могут точно отражать структуру изображения. Чтобы преодолеть эти ограничения, исследователи из NVIDIA разработали новый алгоритм, основанный на методе глубокого обучения, который позволяет монтажерам быстро раскрашивать весь клип, раскрашивая один кадр сцены.

Как это работает?

Чтобы явно изучить сходство высокого уровня между последовательными кадрами, исследователи разработали сеть временного распространения, состоящую из компонента распространения для передачи характеристик (например, цвета) одного кадра в другой. Для этого он использует матрицу линейного преобразования, управляемую сверточной нейронной сетью (CNN).

CNN решает, какие цвета следует перенести из раскрашенного кадра, и заполняет ими оставшиеся черно-белые кадры. Чем эта техника отличается от других, спросите вы? Что ж, лучшую раскраску можно получить с помощью интерактивного подхода, при котором редактор аннотирует часть изображения, в результате чего получается готовый продукт.

Для распространения обучения во временной области исследователи установили два правила. Во-первых, распространение между кадрами должно быть обратимым. Во-вторых, целевой элемент должен сохраняться на протяжении всего процесса.

Они показали, что предложенная техника не требует какого-либо метода сегментации на основе изображений для достижения достойных результатов, сравнимых с существующими методологиями начала искусства.

Ссылка: arXiv:1804.08758 | NVIDIA

Для обучения этой сети исследователи использовали графические процессоры NVIDIA Titan XP. Он обучен на сотнях клипов из нескольких наборов данных для обеспечения широкого динамического диапазона, цвета и распространения маски. Сеть настроена на основе набора данных ACT, содержащего 7260 видеопоследовательностей примерно с 600 000 кадров.

Преимущества предлагаемой техники

1. Высокая точность: Новый метод обеспечивает гораздо лучшее качество видео по сравнению с предыдущими работами.
2. Высокая эффективность: Он выполняется в режиме реального времени, что до 50 раз быстрее, чем предыдущие методы. Это еще больше повышает эффективность за счет параллельной обработки всех видеокадров.

Читайте:Nvidia AI может конвертировать видео с частотой 30 кадров в секунду в 240 кадров в секунду

Текущая методика предлагает простой способ распространения данных во времени в клипах. В ближайшие годы исследователи попытаются понять, как использовать сигналы высокого уровня, такие как отслеживание, семантика и сегментация, для временного распространения.



Усовершенствованная фазово-контрастная рентгеновская визуализация позволяет выявить кровеносные сосуды и … Медные наночастицы и зеленая лазерная печать:экономичное решение для печатных плат с низким сопротивлением