ИИ Google отслеживает объекты в видео через раскраску кадров — самообучающийся подход

Новая сверточная сеть учится копировать цвета из одного опорного кадра в последующие.

При этом она способна отслеживать разные объекты и сохранять трекинг при перекрытиях.

Она также может отслеживать позы человека.

Перекраска видео

Обучение машинам отслеживанию объектов в видео — одна из самых сложных задач компьютерного зрения, 주로 потому, что это требует огромного размеченного обучающего набора данных. Конечно, запись и разметка всего, что происходит на Земле, была бы непрактичной.

Именно поэтому необходимо создать систему, которая учится отслеживать без человеческого надзора, а не использует огромное количество неразмеченных клипов. Почему это так важно? Отслеживание объектов в видео может быть полезно для множества приложений: взаимодействие с объектами, распознавание активностей, стилизация видео и многое другое.

Теперь исследователи Google разработали сверточную сеть, которая учится копировать цвета из единственного опорного кадра. Вместо попытки оценить цвета напрямую из серого кадра, модель ограничена использованием цветов первого опорного кадра видео.

Чтобы скопировать правильные цвета, сеть должна научиться внутренне указывать на правильную область. Эта новая модель может следовать за разными объектами и отслеживать их через перекрытия, не требуя обучения на больших размеченных наборах данных.

Для разработки этой системы ИИ исследователи использовали временную когерентность цвета, которая предоставляет огромные обучающие данные для обучения сверточной сети отслеживанию конкретных участков в видео. Существуют исключительные случаи, когда цвет не является временно когерентным, например, мгновенное включение света. Однако в целом цвета остаются стабильны во времени.

Сначала видео десатурируется (превращается в черно-белое), а затем сеть выполняет этапы раскраски, потому что сцена может содержать разные объекты одного цвета. Делая это, машина учится отслеживать конкретные области или объекты.

Обучение

Исследователи использовали набор данных Kinetics (содержит полмиллиона видеоклипов, изображающих повседневную активность) для обучения своей модели. Они конвертировали все кадры видео, кроме первого, в оттенки серого и обучили сеть оценивать правильные цвета в последующих кадрах.

Чтобы копировать исходные цвета из одного кадра, сверточная сеть научилась внутренне указывать на правильные цвета. Это заставило сеть следовать явному механизму, который можно использовать для отслеживания объектов.

Несмотря на то, что модель не обучена на твердых идентификаторах, она учится отслеживать любой объект или визуальную часть в видео, используя только один (первый) кадр. Она может отслеживать одну точку или обведенную сущность в видео.

Для отслеживания объектов через раскраску видео исследователи сделали только одно изменение: распространяют метки, представляющие целевые области, вместо распространения цветов по клипу.

Отслеживание позы

Сеть также способна отслеживать позы человека: ей нужен начальный кадр, размеченный ключевыми точками, и она делает остальную работу. Однако предсказание ключевых точек в последующих кадрах не так просто, как кажется, потому что нужна тонкая локализация каждой ключевой точки, когда люди в видео испытывают деформацию.

Исследователи продемонстрировали функцию отслеживания позы сети на наборе данных JHMDB (полностью аннотированный набор данных для человеческих поз и действий), где они отслеживали скелет человеческих суставов.

Сеть достигает производительности, аналогичной оптическому потоку, что указывает на то, что она может изучать некоторые признаки движения. Она достаточно хорошо учится отслеживать человеческие позы и видесегменты, чтобы слегка превосходить современные методы, основанные на оптическом потоке.

Модель еще не идеальна. В некоторых экспериментах она не смогла раскрасить видео и отследить сегменты. Поэтому исследователи планируют дальнейшее улучшение процесса раскраски видео, что в конечном итоге может привести к улучшению самообучающегося отслеживания.