Точность встречает автоматизацию: робототехника с машинным зрением трансформирует производство

Часть I

Драйвером оцифровки является растущий спрос на точность, улучшенное качество и надежность. Рыночная динамика заставила производственную отрасль вводить новые продукты, модифицированные дизайны для соответствия меняющимся потребительским настроениям, кастомизацию и более быстрые поставки. Роботы десятилетиями были друзьями производственной отрасли, и так же «машинное зрение», как таковое.

Робототехника и машинное зрение независимо достигли стабильности и технологической зрелости. Недавние разработки были скорее комплементарными друг другу в делах процессов более эффективными. Эта статья раскроет некоторые инсайты о робототехнике с управлением по зрению (VGR) в производственном сегменте. Хотя VGR равноценно релевантен для других типов роботов, таких как мобильные роботы, гуманоиды, декартовы и SCARA-роботы, мы сфокусируемся на приложениях и вызовах артикулированных роботов.

Прежде чем углубляться в нашу основную тему, важно понять некоторые важные концепции машинного зрения и промышленных роботов.

Машинное зрение можно определить как автоматизацию человеческого зрения. Оно должно не только захватывать изображение (функция наших глаз), но и обрабатывать эти изображения и генерировать результаты (функция мозга). Системы машинного зрения полагаются на цифровые датчики, защищенные внутри промышленных камер с специализированной оптикой, для приобретения изображений, чтобы компьютерное железо и ПО могли обрабатывать, анализировать и измерять различные характеристики для принятия решений.

Типичные приложения машинного зрения можно широко классифицировать на четыре типа:

• Наведение (Guidance)
• Идентификация
• Измерение (Gauging)
• Инспекция

В то время как задачи вроде идентификации, измерения и систем инспекции имеют свои собственные цели, где роботы добавляют ценность приложению, наш фокус в этой статье — на робот-наведении. Системы машинного зрения (MV) могут локализовать деталь и убедиться, что она правильно размещена в конкретной сборке. Системы MV также могут помочь идентифицировать местоположение компонента в 2D или 3D пространстве и помочь роботам точно отслеживать координаты этого компонента. Системы MV снижают сложность наличия приспособлений, необходимых для этой цели. Чтобы понять это, нам нужно сначала посмотреть, как робот позиционирует себя для локализации компонента.

Система координат робота состоит из разных систем отсчета. Основные системы координат, используемые для описания движения робота, показаны ниже на Рисунке 1.1. Управление захватом или инструментом наиболее важно, и его позиция достигается через координированные движения одной или всех осей робота. Поскольку разные типы захватов и инструментов имеют разные размеры, специальная точка, называемая точкой центра инструмента (TCP), выбирается независимо от типа инструмента. Эта точка является начальной точкой системы координат инструмента. Подобная точка может использоваться для описания захвата или системы координат запястья. Взаимосвязи инструмента, запястья и других систем координат показаны на Рисунке 1.2.

Изображения: ABB Robotics

TCP находится в отношении с системой координат запястья, базовой системой координат, мировой системой координат и системой координат объекта. Идеально ожидается, что координаты объекта точно совпадают с заданными координатами TCP — что означает, что начальная точка объекта обучена роботу через программирование и координаты TCP записаны. Поэтому для достижения повторяемой точности робот и объект должны приходить в одну и ту же точку каждый раз.

Позиционирование робота управляется серво-механизмами и поэтому довольно точно. В случае фиксированно расположенных компонентов их точность позиционирования зависит от ряда факторов, таких как допуски механической обработки, допуски локализующих приспособлений, точность позиционирования и повторяемость индексного стола. Поэтому TCP робота может не совпадать с фактическими координатами объекта из-за смещения между его желаемыми и фактическими координатами, и будет ошибка позиционирования. Если ожидается, что робот подберет объект или выполнит на нем любую операцию, пока объект случайно позиционирован на конвейере, то определение его начала становится практически невозможным, если нет системы вроде машинного зрения для наведения.

Если развернуты, системы машинного зрения могут идентифицировать реальные координаты объекта в реальном времени и передать их роботу, который затем компенсирует смещение в TCP. Таким образом, точность позиционирования инструмента обеспечивается. Этот метод в основном используется для приложений вроде сварки и дозирования клея, для приспособленных компонентов и для роботизированного «подбора и размещения» случайно распределенных объектов на движущемся конвейере. Вышеприведенные примеры верны для объектов с неточностями позиционирования вдоль 2D плоскости, поэтому будет использоваться 2D система машинного зрения.

Для приложений вроде роботизированного подбора из ящика (bin picking), где робот ожидается подобрать объекты, случайно лежащие в ящике, 3D пространственный анализ становится необходимым. Здесь важны не только координаты X, Y и Z, но и углы ориентации вдоль всех трех осей критически важны для робота, чтобы идентифицировать самый легкий для подбора объект без каких-либо коллизий. Очевидно, что здесь развертываются 3D системы машинного зрения.

Самой популярной 3D системой машинного зрения является установка с использованием стереозрения с двумя камерами, предоставляющими координаты и карту высот. Критическая задача здесь — калибровка камеры и алгоритм машинного зрения, который объединит изображения с обеих камер и построит 3D изображение. Изображение ящика анализируется для получения координат TCP самого легкого компонента для подбора. Некоторые другие 3D техники — лазерная триангуляция и время полета (time of flight).

Часть II

Приобретение изображения

Хорошее качество изображения — ключ к успешному VGR. Три основных компонента здесь — камера, оптика и освещение.

Камера: Существует несколько важных вещей, которые нужно учитывать при выборе камер для роботизированных приложений. Хотя коммерческие камеры на рынке захватывают изображения, промышленные среды, где эти системы развернуты, могут быть действительно сложными. Здесь камеры экспонируются суровым средам и ожидается, что они доставят согласованные качественные изображения каждый раз на сотни тысяч циклов. Добавьте к этому удары и вибрации, возникающие из-за движений робота и общих вибраций оборудования.

Коммуникационные интерфейсы должны быть надежными, выдерживающими эти тяжелые условия, чтобы не было прерываний в коммуникациях во время операции. Ethernet-базированные протоколы предлагают хорошую надежность и более длинные длины кабелей, необходимые для этого приложения. Соответствие Ingress Protection становится критичным, особенно если система развернута в пыльной среде. PoE — предпочтительный источник питания для избежания множественных кабелей. Кабели камеры подвергаются множеству циклических изгибов через кабель-каналы и жгуты на руке робота, поэтому должны использоваться кабели, совместимые с драг-чейном (drag-chain compliant).

Разрешение камеры должно быть рассчитано с учетом общего поля зрения (FOV) и желаемой точности позиционирования.

Оптика: Подходящая оптика в зависимости от FOV, рабочего расстояния (WD) и размера сенсора камеры должна быть выбрана. Два самых важных фактора для рассмотрения:

1. Бочковая дисторсия (barrel distortion) должна быть минимально возможной, и
2. Надежность объектива, так как он подвергается тем же ударам и вибрациям, что и камера; критические настройки объектива, такие как диафрагма и фокус, могут быть затронуты, если не адресовать

Освещение: Освещение объекта играет решающую роль в VGR. Освещение должно быть таким, чтобы выделять признак, подлежащий инспекции в компоненте. Компонент или контур, который запрограммирован, должен быть точно идентифицирован в желаемой точности системы. Поэтому, основываясь на объекте и контуре, подходящее освещение должно быть выбрано. В то время как приложения типа подбора компонентов или сварки/дозирования клея в основном требуют простые диффузные линейные светодиоды, роботизированные приложения bin picking с использованием стереокамер часто используют структурированные паттерны света, проецируемые на компонент для сбора контуров и получения профилей.

Вызовы в робототехнике с машинным зрением

В стандартном 2D роботизированном приложении машинного зрения есть несколько вызовов, которые нужно решить:

• Дисторсии
• Калибровка координат
• Z-калибровка
• Выравнивание координат

Дисторсии: Существует два основных типа дисторсий, которые происходят и должны быть исправлены перед тем, как система зрения будет готова для VGR.

• Дисторсии объектива: Объективы (особенно широкоугольные) вызывают дисторсии в захваченном изображении. Это известно как «бочковая дисторсия».
  

Бочковая дисторсия. Изображение: Baumer

• Дисторсии, вызванные наклонным монтажом камеры
  Изображение: Baumer

Роботы требуют зазора для работы, поэтому камеры часто нужно монтировать в наклонной позиции. Это вызывает дисторсию в захваченном изображении.

Оба этих типа дисторсий нуждаются в коррекции и калибровке, чтобы полученные координаты были точными.

Калибровка координат: Роботы работают на системах координат, определенных в единицах вроде миллиметров или дюймов, тогда как камеры работают на пиксельных подсчетах. Поэтому требуется откалибровать камеру так, чтобы система понимала корреляцию между пикселями и единицами систем координат.

Важно, чтобы измерение происходило на одном и том же рабочем расстоянии (расстояние между камерой и объектом) каждый раз. Поскольку роботы работают в 3D, «захват» также требует «Z» спецификации.

Z-калибровка: Z-калибровка используется для расчета X- и Y-координат, если Z-ось варьируется в пределах глубины резкости* объектива. Камера калибруется с использованием специфической процедуры с калибровочной пластиной (обсуждается позже).

Выравнивание координат: У робота и системы зрения свои собственные системы координат. Их отклонения:

Чтобы преодолеть эту проблему, проводится калибровка. Робот знает свою собственную позицию и также позицию TCP, в то время как система зрения калибруется на калибровочной пластине. Робот рассчитывает смещения, и выравнивание выполняется.

Это очень важный шаг. Робот должен следовать пути, который начинается от начальной точки, определенной системой зрения. Если не выполнено правильно, некорректная калибровка может вызвать серьезные отклонения пути и привести к коллизиям.

Калибровочная пластина: Калибровка системы зрения выполняется с использованием стандартной калибровочной пластины, имеющей маркировки с точными размерами. Рисунок 2.1 показывает некоторые примеры калибровочных пластин.

Исправление дисторсий объектива и монтажа с использованием калибровочной пластины: Калибровочная пластина помещается на определенное расстояние под камерой и изображение захватывается, как показано в Рисунке 2.2.

Изображение: Baumer

После того как калибровка дисторсий выполнена, изображение выглядит выровненным. Это показано ниже в Рисунке 2.3.

Калибровка координат с использованием калибровочной пластины: Линии сетки или маркировки на калибровочной пластине связаны с количеством пикселей, покрытых в камере. Важно точно позиционировать указатель местоположения на калибровочной пластине.

Указатели размещаются на точках/углах пластины. Расстояния между этими точками известны и затем вводятся в поля параметризации калибровки программного обеспечения. Система зрения затем вычисляет количество пикселей, потребляемых для измерения этого расстояния. Эта настройка верна, пока поддерживаются рабочее расстояние, FOV и монтажи камеры. Системе нуждается в перекалибровке, если любое из трех вещей меняется.

Тренды и достижения

VGR — не новая технология. Она уже развилась и стала довольно зрелым приложением. Почти все производители роботов теперь предлагают интегрированные решения для VGR. Однако последние достижения в технологиях камер (таких как высокоскоростные камеры, 3D камеры времени полета, интегрированные стереокамеры) и в программных технологиях (таких как искусственный интеллект и машинное обучение) добавили ту дополнительную часть надежности и робастности ко всему приложению.

Глубокие нейронные сети развертываются для обучения и переобучения разных возможностей позиционирования и ориентации компонентов вдоль всех плоскостей. Множество возможностей для обучения может удлинить время обучения сетей, но последние вычислительные устройства (такие как GPU) делают задачи менее затратными по времени. Облачные платформы для машинного обучения также в настоящее время развертываются.

Заключение

VGR набирает быструю популярность во всех доменах промышленности. Приложение, когда-то во многом движимое автомобильным сегментом, теперь находит других заказчиков вроде пищевой и фармацевтической для высокоскоростного роботизированного подбора и размещения, паллетизации и депаллетизации, тяжелого машиностроения для отслеживания шва сварки роботом, дозирования клея и так далее. Существует необходимость установить стандарты для обеспечения взаимосовместимости среди производителей систем зрения и строителей роботов. Пока мир смотрит в сторону «новой нормальности» в производстве, VGR определенно имеет главную роль для игры.