Робототехника с визуальным управлением

Часть I

Движущей силой цифровизации является растущий спрос на точность, повышенное качество и надежность. Динамика рынка вынуждает обрабатывающую промышленность предлагать новые продукты, модифицировать дизайн, чтобы соответствовать меняющимся настроениям потребителей, кастомизацию и более быструю доставку. Роботы десятилетиями были друзьями обрабатывающей промышленности, как и «машинное зрение» как таковое.

Робототехника и машинное зрение независимо друг от друга достигли стабильности и технологической зрелости. Недавние разработки скорее дополняли друг друга, повышая эффективность процессов. В этой статье будут разъяснены некоторые идеи о робототехнике с визуальным управлением (VGR). в производственном сегменте. Хотя VGR в равной степени актуален и для других типов роботов, таких как мобильные роботы, гуманоиды, декартовы роботы и роботы SCARA, мы сосредоточимся на приложениях и задачах шарнирных роботов. .

Прежде чем мы углубимся в нашу основную тему, важно понять некоторые важные концепции машинного зрения и промышленных роботов.

Машинное зрение можно определить как атомизацию человеческого зрения. Ему нужно не только зафиксировать изображение (функция наших глаз), но и обработать эти изображения и выдать результат (функция мозга). Системы машинного зрения полагаются на цифровые датчики, защищенные внутри промышленных камер со специальной оптикой для получения изображений, чтобы компьютерное оборудование и программное обеспечение могли обрабатывать, анализировать и измерять различные характеристики для принятия решений.

Типичные приложения машинного зрения можно разделить на четыре типа, а именно:

• Руководство
• Идентификация
• Измерение
• Осмотр

Хотя такие задачи, как системы идентификации, измерения и проверки, имеют свои собственные цели, в которых роботы повышают ценность приложения, в этой статье мы сосредоточимся на руководстве роботов. . Системы машинного зрения (MV) могут найти деталь и убедиться, что она правильно размещена в конкретной сборке. Системы MV также могут помочь определить местоположение компонента в 2D или 3D-пространстве и помочь роботам точно отслеживать координаты этого компонента. Системы среднего напряжения уменьшают сложность наличия приспособлений, необходимых для этой цели. Чтобы понять это, нам нужно сначала изучить, как робот позиционирует себя, чтобы найти компонент.

Система координат робота состоит из различных систем отсчета. Основные системы координат, используемые для описания движения робота, показаны ниже на Рис. 1.1. . Управление захватом или инструментом является наиболее важным, и его положение достигается за счет скоординированных движений одной или всех осей робота. Поскольку разные типы захватов и инструментов имеют разные размеры, выбирается особая точка, называемая центральной точкой инструмента (TCP), независимо от типа инструмента. Эта точка является исходной точкой системы координат инструмента. Аналогичную точку можно использовать для описания захвата или системы координат запястья. Взаимные связи инструмента, запястья и других систем координат показаны на рис. 1.2. .

Рисунок 1.1

Рисунок 1.2

Изображения:ABB Robotics

TCP имеет связь с координатой запястья, базовой координатой, мировой координатой и системами координат объекта. В идеале ожидается, что координаты объекта точно совпадают с заданными координатами TCP — это означает, что начальная точка объекта передается роботу с помощью программирования, а координаты TCP записываются. Поэтому для достижения повторяющейся точности робот и объект должны каждый раз приходить в одну и ту же точку.

Позиционирование робота регулируется сервомеханизмами, поэтому оно довольно точное. В случае неподвижно расположенных компонентов точность их позиционирования зависит от ряда факторов, таких как допуски на обработку, допуски на фиксирующие приспособления, а также точность и повторяемость позиционирования делительного стола. Поэтому ТКП робота может не совпадать с реальными координатами объекта из-за смещения между его желаемыми и реальными координатами, и будет ошибка позиционирования. Если ожидается, что робот поднимет объект или выполнит с ним какую-либо операцию, в то время как объект перемещается случайным образом по конвейеру, то определение его происхождения становится практически невозможным если нет такой системы, как машинное зрение.

При развертывании системы машинного зрения могут определять координаты объекта в реальном времени и передавать их роботу, который затем компенсирует смещение в TCP. Таким образом обеспечивается точность позиционирования инструмента. Этот метод в основном используется для таких приложений, как сварка и нанесение клея, для компонентов крепежа и для роботизированного «подбора и размещения» случайно распределенных объектов на движущемся конвейере. Приведенные выше примеры подходят для объектов с неточностями позиционирования вдоль 2D-плоскости, поэтому 2D-система машинного зрения будет использоваться.

Высокоскоростная роботизированная система "подбора и размещения" объектов с помощью двухмерного визуального наведения. Изображение:корпорация Cognex

Для таких приложений, как роботизированный сбор мусора, когда ожидается, что робот будет подбирать объекты, хранящиеся в мусорном ведре случайным образом, становится необходимым трехмерный пространственный анализ. Здесь важны не только координаты X, Y и Z, но и углы ориентации по всем трем осям, чтобы робот мог определить самый простой объект для выбора без каких-либо столкновений. Очевидно, что 3D-системы машинного зрения развертываются в этом параметре.

Самая популярная система трехмерного машинного зрения — это установка, использующая стереозрение с двумя камерами, предоставляющими координаты и карту высот. Важнейшей задачей здесь является калибровка камеры и алгоритм машинного зрения, который объединит изображения с обеих камер и создаст 3D-изображение. Изображение бункера анализируется для получения TCP-координат наиболее легкого для выбора компонента. Некоторые другие 3D-методы — лазерная триангуляция и измерение времени пролета.

Роботизированный отбор контейнеров с помощью трехмерного визуального управления. Изображение:Yaskawa Robotics

Часть II

Получение изображения

Хорошее качество изображения — ключ к успешному VGR. Здесь три основных компонента — это камера, оптика и освещение.

Камера: Есть несколько важных моментов, которые следует учитывать при выборе камер для роботизированных приложений. Хотя коммерческие камеры, представленные на рынке, принимают изображения, промышленные условия, в которых развернуты эти системы, могут быть очень сложными. Здесь камеры воздействуют на суровые условия. и ожидается, что они будут обеспечивать постоянное изображение хорошего качества каждый раз в течение сотен тысяч циклов. Добавьте к этому удары и вибрации, вызванные движениями робота и вибрациями всего оборудования.

Коммуникационные интерфейсы должны быть надежными, выдерживающими такие жесткие условия, чтобы не было прерываний связи во время работы. Протоколы на основе Ethernet обеспечивают хорошую надежность и большую длину кабеля, необходимую для этого приложения. Соответствие требованиям защиты от проникновения становится критически важным, особенно если система развертывается в запыленной среде. PoE является предпочтительным источником питания, чтобы избежать использования нескольких кабелей. Следует использовать кабели, совместимые с буксируемой цепью.

Изображение:Баумер

Изображение:Pickit 3D

Разрешение камеры должно рассчитываться с учетом общего поля зрения (FOV) и желаемой точности позиционирования.

Оптика: Необходимо выбрать подходящую оптику в зависимости от FOV, рабочего расстояния (WD) и размера сенсора камеры. Два наиболее важных фактора, которые следует учитывать:

1. Бочкообразная дисторсия должна быть сведена к минимуму, и
2. Надежность объектива, поскольку он подвергается такому же количеству ударов и вибраций, что и камера; если не принять меры, могут быть затронуты важные настройки объектива, такие как диафрагма и фокус.

Подсветка: Освещение объекта играет решающую роль в ВГР. Освещение должно быть таким, чтобы оно выделяло проверяемый элемент в компоненте. Запрограммированный компонент или контур должен быть точно идентифицирован в пределах требуемой точности системы. Поэтому в зависимости от объекта и контура необходимо подобрать подходящее освещение. В то время как приложения для сбора компонентов или сварки / нанесения клея в основном требуют простых рассеянных световых полос, роботизированные приложения для сбора контейнеров с использованием стереокамер часто используют структурированные световые схемы, проецируемые на компонент для сбора контуров и получения профилей.

Структурированное освещение, используемое в 3D-выборе мусора. Изображение:Solomon 3D

Проблемы робототехники с машинным зрением

В стандартном 2D-приложении роботизированного машинного зрения есть несколько проблем, которые необходимо решить:

• Искажения
• Калибровка координат
• Калибровка Z
• Выравнивание координат

Искажения: Существует два основных типа искажений, которые необходимо исправить, прежде чем система технического зрения будет готова к VGR.

• Искажения объектива: Объективы (особенно широкоугольные) искажают получаемое изображение. Это известно как «бочковая дисторсия».
  

Бочкообразное искажение. Изображение:Baumer

• Искажения, вызванные наклонной установкой камеры
  Изображение:Баумер

Для работы роботов требуется свободное пространство, поэтому камеры часто приходится устанавливать под наклоном. Это приводит к искажению получаемого изображения.

Оба этих типа искажений нуждаются в исправлении и калибровке, чтобы полученные координаты были точными.

Калибровка координат: Роботы работают с системами координат, определенными в миллиметрах или дюймах, тогда как камеры работают с пикселями. Поэтому требуется откалибровать камеру, чтобы система понимала соотношение между пикселями и единицами системы координат.

Изображение:Баумер

Важно, чтобы измерение каждый раз происходило на одном и том же рабочем расстоянии (расстояние между камерой и объектом). Поскольку роботы работают в 3D, для "захвата" также требуется спецификация "Z". .

Z-калибровка: Калибровка Z используется для расчета координат X и Y, если ось Z изменяется в пределах глубины резкости* объектива. Калибровка камеры выполняется с помощью специальной процедуры с помощью калибровочной пластины (описано позже).

Выравнивание координат: Робот и система технического зрения имеют собственные системы координат. Их отклонения:

Чтобы преодолеть эту проблему, выполняется калибровка. Робот знает свое собственное положение, а также положение TCP, тогда как система технического зрения калибруется на калибровочной пластине. Робот вычисляет смещения , и выполняется выравнивание.

Это очень важный шаг. Робот должен следовать по пути, который начинается от исходной точки, определенной системой технического зрения. при столкновениях.

Калибровочная пластина: Калибровка системы технического зрения выполняется с использованием стандартной калибровочной пластины с маркировкой с точными размерами. Рисунок 2.1 показаны некоторые примеры калибровочных пластин.

Рисунок 2.1

Коррекция дисторсии объектива и монтажа с помощью калибровочной пластины: Калибровочная пластина размещается на определенном расстоянии под камерой, и изображение получается, как показано на Рис. 2.2. .

Рисунок 2.2. Расположение камеры

Изображение:Баумер

После выполнения калибровки искажения изображение выглядит выровненным. Это показано ниже на Рис. 2.3. .

Рисунок 2.3

Калибровка координат с помощью калибровочной пластины: Линии сетки или отметки на калибровочной пластине связаны с количеством пикселей, покрываемых камерой. Важно точно расположить указатель положения на калибровочной пластине.

Стрелки размещаются на точках/углах пластины. Расстояния между этими точками известны и затем вводятся в поля параметризации калибровки программного обеспечения. Затем система технического зрения вычисляет количество пикселей, использованных для измерения этого расстояния. Эта настройка остается в силе до тех пор, пока сохраняется рабочее расстояние, FOV и крепления камеры. Систему необходимо повторно откалибровать, если любой из трех факторов изменится.

Тенденции и достижения

VGR не является новой технологией. Оно уже разработано и стало вполне зрелым приложением. Практически все производители роботов сейчас предлагают комплексные решения для VGR. Однако последние достижения в технологиях камер (таких как высокоскоростные камеры, 3D-камеры времени полета и встроенные стереокамеры) и в программных технологиях (таких как искусственный интеллект и машинное обучение) добавили этот дополнительный элемент надежности. и надежность ко всему приложению.

Глубокие нейронные сети развернуты для обучения и повторного обучения различным возможностям позиционирования и ориентации компонентов во всех плоскостях. Множество возможностей, которые необходимо изучить, могут увеличить время обучения сетей, но новейшие вычислительные устройства (такие как GPU) сокращают время выполнения задач. В настоящее время также развертываются облачные платформы для машинного обучения.

Заключение

VGR набирает быструю популярность во всех сферах промышленности. Применение, которое когда-то в основном использовалось в автомобильном сегменте, теперь находит других потребителей, таких как продукты питания и фармацевтика для высокоскоростного роботизированного захвата и размещения, укладки на поддоны и снятия с поддонов, тяжелого машиностроения для отслеживания швов сварочного робота, дозирования клея и так далее. Необходимо установить стандарты для обеспечения совместимости между производителями систем технического зрения и производителями роботов. Поскольку мир стремится к «новому стандарту» в производстве, VGR определенно должен сыграть важную роль.