Продвинутая ИИ-система для точного обнаружения объектов в загруженных средах

Робототехническое зрение прошло долгий путь, достигнув уровня изощренности с применениями в сложных и требовательных задачах, таких как автономное вождение и манипуляция объектами. Однако оно все еще борется с идентификацией отдельных объектов в загруженных сценах, где некоторые объекты частично или полностью скрыты за другими. Обычно при работе с такими сценами роботизированные визионные системы обучаются идентифицировать окклюдированный объект только по его видимым частям. Но такое обучение требует больших датасетов объектов и может быть утомительным.

Профессор Кёбин Ли и PhD-студент Сынгхёк Бэк из Гванджуского института науки и технологий в Южной Корее столкнулись с этой проблемой при разработке ИИ-системы для идентификации и сортировки объектов в загруженных сценах. «Мы ожидаем, что робот распознает и манипулирует объектами, с которыми он не сталкивался раньше или не обучался распознавать. В реальности, однако, нам нужно вручную собирать и размечать данные по одному, так как обобщающая способность глубоких нейросетей сильно зависит от качества и количества обучающего датасета», — сказал Бэк.

В новом исследовании, بقيادة проф. Ли и Бэком, они разработали модель «unseen object amodal instance segmentation» (UOAIS) для детекции окклюдированных объектов в загруженных сценах. Для обучения модели идентификации геометрии объекта они разработали базу данных, содержащую 45 000 фотореалистичных синтетических изображений с информацией о глубине. С этими (ограниченными) обучающими данными модель смогла детектировать разнообразие окклюдированных объектов. При встрече с загруженной сценой она сначала выделяла объект интереса, затем определяла, окклюдирован ли объект, сегментируя его на «видимую маску» и «амодальную маску».

Исследователи были взволнованы результатами. «Предыдущие методы ограничены либо детекцией только специфических типов объектов, либо детекцией только видимых регионов без явного рассуждения над окклюдированными областями. Напротив, наш метод может выводить скрытые регионы окклюдированных объектов как человеческая визионная система. Это позволяет сократить усилия по сбору данных, улучшая производительность в сложной среде», — сказал Бэк.

Для включения «occlusion reasoning» в свою систему исследователи ввели схему «hierarchical occlusion modeling» (HOM), которая назначала иерархию комбинации множества извлеченных признаков и их порядка предсказания. Тестируя модель против трех бенчмарков, они подтвердили эффективность схемы HOM, достигшей state-of-the-art производительности.

Исследователи оптимистичны о будущих перспективах своего метода. «Восприятие невидимых объектов в загруженной среде необходимо для амодальной роботизированной манипуляции. Наш метод UOAIS может служить базой на этом фронте», — сказал Бэк.

Для получения информации свяжитесь с Сеульхье Ким, Гванджуский институт науки и технологий, по email (защищен от спам-ботов, нужен JS); 82-627-156-253.