DeepLabCut:ИИ с открытым исходным кодом для отслеживания частей тела движущихся видов

• Новый алгоритм, основанный на глубоком обучении, отслеживает и маркирует части тела движущихся видов, используя минимальные данные для обучения.
• Для этого не нужны никакие вычислительные модели тела, временные данные и фигурки.

Чтобы понять мозг любого вида, необходимо точно определить его поведение. Видео слежение - один из лучших вариантов для наблюдения и записи поведения животных в различных конфигурациях. Это значительно упрощает анализ и позволяет с высокой точностью отслеживать части тела.

Однако извлечение конкретных аспектов поведения для подробного исследования может быть утомительным и трудоемким процессом. Существующее компьютерное отслеживание использует отражающую маркировку (части тела выделяются маркерами), при этом положение и количество маркеров должны быть определены перед записью.

Теперь исследователи из Гарвардского и Тюбингенского университетов разработали инструмент искусственного интеллекта DeepLabCut, который автоматически отслеживает и маркирует части тела движущихся видов. Этот метод безмаркерной оценки позы основан на методах глубокого обучения, которые обеспечивают достойные результаты с минимальными данными обучения.

Что именно они сделали?

Исследователи изучили архитектуру детектора функций на основе недавно разработанной модели оценки позы нескольких человек, DeeperCut. Они показали, что небольшого количества обучающих фотографий (около 200) достаточно, чтобы обучить эту нейронную сеть и достичь точности, подобной человеческой.

Это стало возможным благодаря трансферному обучению, методу машинного обучения, при котором модель, обученная одной задаче, применяется к другой связанной задаче. В этом исследовании детекторы признаков, основанные на интенсивно глубоких нейронных сетях, были предварительно обучены на гигантском наборе данных (ImageNet) для распознавания объектов.

Следовательно, можно обучить эти надежные детекторы признаков, пометив меньшее количество кадров (несколько сотен). После обучения он может локализовать широкий спектр экспериментально значимых частей тела.

Исследователи продемонстрировали возможности DeepLabCut, отслеживая уши, морду и основание хвоста во время навигационной задачи, руководствуясь запахами. Они также проследили несколько частей плодовой мушки в 3D-камере.

Нейронные сети обучаются на графических процессорах NVIDIA Titan Xp и GeForce GTX 1080 Ti с помощью TensorFlow, ускоренного фреймворком глубокого обучения CUDA. Используя такое мощное оборудование, можно обрабатывать кадры размером 682 * 540 со скоростью 30 кадров в секунду.

Инструмент способен предоставлять обратную связь в режиме реального времени на основе оценок положения, извлеченных из видеосъемки. Более того, можно адаптивно обрезать входные кадры вокруг вида, чтобы еще больше увеличить скорость обработки, или адаптировать сетевую архитектуру для увеличения времени обработки.

Ссылка:arXiv:1804.03142 | GitHub

В целом DeepLabCut работает в четыре этапа:

1. Извлечь несколько кадров из видео для маркировки.
2. Использование меток для создания обучающих данных.
3. Обучите нейронные сети в соответствии с необходимыми наборами функций.
4. Извлеките эти позиции функций из немаркированных данных.

Предоставлено исследователями

Чем это полезно?

Описанный выше метод не требует какой-либо вычислительной модели тела, временных данных, фигурки или сложного алгоритма вывода. Его можно быстро развернуть для решения различных задач, которые создают качественно разные проблемы для компьютерного зрения.

Хотя исследователи продемонстрировали DeepLabCut на дрозофилах, мышах и лошадях, определенно нет ограничений на метод, и он может быть применен и к другим видам.

Прочтите:AI, фильтрующий спам, узнает поведение животного28

Отслеживание животных с помощью видеосъемки может открыть новые представления об их биомеханике и помочь нам понять, как функционирует их мозг. У людей это может улучшить методы, используемые в физиотерапии, и помочь спортсменам достичь целей, которые раньше были невозможны.