Видение и робототехника:счастливы вместе

Следующий «динамический дуэт» может вообще не включать людей. «Машинное зрение и роботы — идеальный союз», — заявил Клас Бенгтссон, глобальный менеджер по продуктам систем машинного зрения компании ABB Robotics (Оберн-Хиллз, Мичиган). Это не ново. Зрение и робототехника годами шли рука об руку. Но, в отличие от других браков, этот процветает, поскольку машинное зрение расширяет возможности и находит новые применения. «Идеальный» брак прошлого подразумевал руководство роботом. Но новые приложения, такие как дети от хорошего брака, теперь включают проверку деталей, считывание штрих-кодов или QR-кодов для отслеживания и поиск новых способов упаковки и распаковки деталей.

Все сводится к той гибкости, которую обеспечивает машинное зрение. . «Vision помогла компании ABB расширить возможности многих роботизированных приложений», — сказал он.

Потребность в роботах с гибким управлением обусловлена ​​увеличением разнообразия продукции и необходимостью сокращения сроков выполнения заказов во многих отраслях. Почему так важна гибкость? «Если вы жестко программируете роботизированную автоматизацию, в ту минуту, когда вы меняете продукт или что-то на своей производственной линии, вы должны изменить программу», — сказал Бенгтссон. Это также означает изменение точного крепления или способа размещения детали, чтобы жестко запрограммированная программа управления роботом могла надежно захватывать, полировать или иным образом воздействовать на деталь. Расходы складываются.

Машинное зрение помогает снизить эти расходы, позволяя роботу «видеть» варианты деталей и ориентации. Трехмерные сканирующие датчики открывают еще больше новых областей применения. Бенгтссон сказал:"15 лет назад вопрос был:"Зачем использовать машинное зрение". Сегодня вопрос:"Почему бы и нет?"

Люди и роботы сотрудничают

Компания Rethink Robotics (Бостон), основанная в 2008 году, создает роботов для совместной работы, или коботов. Его флагманский продукт — Sawyer. «Кобот, такой как наш робот Sawyer, лучше всего использовать для выполнения повторяющихся, рутинных задач человеческого масштаба», — сказал Майк Фэйр, менеджер по продукции. Это означает работу с продуктами или движениями, которые воспроизводят то, что делает человек, но при этом до невозможности однообразны и обыденны.

«Подобные приложения включают в себя упаковку, обслуживание оборудования, загрузку и разгрузку линии, проверку и тестирование печатных плат», — сказал он. Обработка материалов для станков с ЧПУ — это еще одно приложение, заменяющее человека, который загружает станок с ЧПУ, запускает его, ждет завершения задачи обработки, а затем выгружает станок.

Rethink настолько верит в машинное зрение, что встраивает камера на запястье каждого Сойера. «Встроенная система машинного зрения [делает] нашего кобота быстрее и проще в развертывании, избавляя от хлопот и затрат времени на интеграцию типичных систем машинного зрения. Мы добавляем программное обеспечение, чтобы упростить развертывание [этих] систем машинного зрения», — сказал Фэйр. На выставке ATX West 2018 он представил демонстрацию, доказывающую, что даже журналист может запрограммировать простую задачу за несколько минут. В сочетании с кодированными наклейками, которые выглядят как QR-коды, их программное обеспечение помогает роботу позиционировать себя, чтобы адаптироваться к изменчивости рабочей ячейки. Это также облегчает перемещение роботов Sawyer от задачи к задаче и от одного места к другому.

Компания Universal Robots USA Inc. (UR; Анн-Арбор, Мичиган) также занимается коллаборативными роботами. Три его робота с грузоподъемностью от 3 до 10 кг работают в «экосистеме» сторонних поставщиков. Компания предлагает бесплатную программу для разработчиков под названием Universal Robots+, позволяющую сторонним поставщикам концевых эффекторов, систем машинного зрения и других периферийных устройств разрабатывать надстройки, которые легко подключаются к коботам компании.

На веб-сайте компании представлены шесть различных вариантов видения внутри Эта экосистема подходит для захвата и размещения, автоматизации станков с ЧПУ, упаковки и укладки на поддоны, сборки, завинчивания и обслуживания станков. Доступны как 2D, так и 3D сканеры. Доступно несколько программных пакетов для управления движением роботов и моделирования.

Интеграция, простота использования

Чтобы машинное зрение было полезным, оно должно быть доступно, что является важным элементом экосистемы UR. Например, один из их сторонних пакетов называется Universal Metrology Automation и предлагается 3D Infotech. Он обеспечивает интеграцию систем управления движением, 3D-сканеров и программного обеспечения для контроля для создания настраиваемого автоматизированного метрологического решения. Другие программы обеспечивают интерактивное или автономное программирование, программное обеспечение для моделирования роботов и возможности мониторинга.

"Сегодня интеграция с роботами и системами машинного зрения стала намного лучше, – сказал Роб Антонидес, президент Apex Motion Control (Суррей, Британская Колумбия). Apex — это интегратор, который в полной мере воспользовался экосистемным подходом UR. «Раньше нам приходилось соединять системы машинного зрения с контроллерами роботов, но сегодня они более легко подключаются по принципу plug-and-play, через Ethernet IP или любую сеть. Двадцать лет назад у меня уходила неделя на установку управляемой зрения роботизированной системы и связи; сегодня это 15–20 минут».

Машинное зрение оказалось особенно полезным для Apex. Автоматизированные задачи включают в себя различные операции по выпечке, в том числе украшение тортов. «Системы машинного зрения позволяют справляться с несоответствиями и далеко не идеальным представлением и позиционированием продукта. Мы отображаем поверхность торта с помощью 3D-сенсора, чтобы его можно было быстро и легко украсить», — сказал Антонидес.

FANUC также делает упор на простоту интеграции. «В конце прошлого года мы выпустили совершенно новый контроллер с важными функциями для интегрированного роботизированного зрения, — пояснил Дэвид Дешоу, штатный инженер по интеллектуальной робототехнике и машинному зрению в FANUC America Corp. (Рочестер-Хиллз, Мичиган). «В FANUC все наши системы машинного зрения теперь встроены в контроллер». FANUC была одной из первых компаний-производителей робототехники, которая 30 лет назад предложила систему машинного зрения для управления робототехникой в ​​качестве опции в своих роботизированных системах управления.

Дечоу также заметил, что компании, занимающиеся машинным зрением, сконцентрировались на разработке более простых интерфейсов для роботов. «Поставщики машинного зрения заметно поддерживают этот рынок», — заявил он. «Тяжелая работа по налаживанию совместной работы связана с концепцией видения. Робот ожидает очко. Хитрость заключается в том, чтобы использовать машинное зрение, чтобы найти правильную точку, объединив систему координат системы машинного зрения с системой координат робота». Он согласился с другими, опрошенными для этой статьи, в том, что машинное зрение обеспечивает несравненную гибкость во многих задачах автоматизации. По его словам, сегодня соотношение затрат и выгод начинает отдавать предпочтение дальновидности, а не точной фиксации и жесткому кодированию.

ИИ:позирование и дискриминация

Обсуждение зрения, данных и роботов естественным образом приводит к вопросу о том, насколько полезен искусственный интеллект (ИИ) для зрячих роботов. Дешоу отметил одну загвоздку:ИИ не особенно применим к роботизированному управлению. «Обучение ИИ исключительно хорошо подходит для категоризации и дифференциации. В чем он не хорош, так это в дискретном анализе», — пояснил он. Роботу необходимо переместиться в дискретную точку. В сочетании с метрологическими системами он измеряет дискретные геометрические величины. «Здесь нечему учиться, — сказал он.

Но на этом все не заканчивается. Если это не применимо к руководству, есть роботизированные задачи, в которых ИИ предлагает ценность. «Например, идентификация и классификация объекта по его фону для определения объекта, над которым должен работать робот, в сочетании с роботизированным управлением были бы хорошим гибридным приложением», — сказал он. Другой — оптимизация выбора и захвата. «Поиск идеальной ориентации руки в пространстве и траектории приближения относится к области обучения, а не [является] детерминированным. Есть много ориентаций, как хороших, так и плохих», — пояснил он. «Искусственный интеллект особенно полезен, когда детали случайны и неоднородны по расположению и размеру».

Питер Кавалло из Denso Products and Services Americas Inc. (Лонг-Бич, Калифорния) согласился с тем, что существенное увеличение возможностей систем машинного зрения является реальным и открывает новые возможности для роботизированных приложений. «В своей простейшей форме [видение] находит часть или объект и воздействует на него. В своей самой сложной форме, которую мы наблюдаем сейчас, он может видеть вещи, интерпретировать, распознавать и видеть часть такой, какая она есть, даже в разных конфигурациях или положениях, не перемещая деталь или робота».

Он считает 3D-сканирование особенно важной разработкой, упрощая ранее сложные задачи, такие как сбор мусора. В новейшей системе Denso используется система структурированного светового зрения, позволяющая видеть в 3D с помощью КМОП-детектора.

Его взгляд на применение ИИ в робототехнике основан на более широком системном контексте. «По мере того, как мы переходим к следующему поколению роботов, мы начинаем вникать в такие вещи, как глубокое обучение, когда зрение становится частью всей системы», — пояснил он. «На выставке роботов в Токио мы продемонстрировали кое-что, демонстрирующее глубокое обучение в системе с 28 степенями свободы, включающей двух роботов с руками, которые собирают салат». Почему промышленные пользователи должны быть впечатлены? Робот выбрал салат, фрукты и овощи, используя только заранее предоставленные знания. «Мы не программировали робота; вместо этого мы сказали ему то, что хотели», — сказал он. Подумайте о количестве неструктурированных задач, существующих в цехе, которые идеально подходят для такой автоматизации.

Не только для больших парней

Машинное зрение, интеграция, программное обеспечение и даже искусственный интеллект могут навести на мысль, что роботизированная автоматизация такого уровня предназначена только для компаний из списка Fortune 500. Это не так. «Он отлично подходит для малого и среднего бизнеса, потому что видение сегодня доступно по цене. То, что раньше составляло 50 000–100 000 долларов, сейчас составляет менее 5000 долларов. Нет причин стесняться», — сказал Кавалло.

Рик Брукшир, менеджер по продуктам Epson America Inc. (Карсон, Калифорния), согласен с тем, что роботизированная автоматизация идеально подходит для малых и средних предприятий (МСП). «В дополнение к более крупным клиентам, которые покупают 50, 100 или даже 1000 роботов, у нас есть много мелких клиентов, которые покупают одного, двух или трех роботов», — сказал он. Epson специализируется на роботах меньшего размера, оптимизированных для выполнения высокоточных задач, развивая свой робототехнический бизнес за счет собственных потребностей в создании высокоточных часов. «Все наши роботы доступны со встроенным визуальным наведением, и эта функция получает все большее признание. Он также становится более надежным. Люди охотнее им пользуются», — сказал он.

Как и другие, опрошенные для этой статьи, он верит в простоту имеет жизненно важное значение, особенно для удовлетворения потребностей МСП. По словам компании, программа Epson Vision Guide использует объектно-ориентированный графический интерфейс типа «укажи и щелкни», что позволяет разработчикам быстро разрабатывать приложения. В то время как идеальное приложение робота с визуальным управлением — это то, где детали не расположены должным образом в пределах разумного уровня допуска или не могут быть представлены согласованным образом, точность, которую обеспечивают роботы Epson, открывает другую область использования.

Допуски ужесточаются. Детали становятся меньше. Точное размещение становится все более трудным. «Именно здесь могут помочь точные роботы, такие как Epson», — сказал он. «Это происходит в небольших компаниях все чаще и чаще. И эти роботы становятся настолько простыми в использовании, что многие наши клиенты выполняют интеграцию самостоятельно». Роботы закручивают даже винты диаметром менее 0,7 мм. По мере старения рабочей силы это может стать критическим фактором.

Джеймс Купер, вице-президент по продажам Applied Manufacturing Technologies (AMT; Орион, Мичиган), обладает уникальным видением, основанным на его опыте в автомобильной промышленности. AMT — системный интегратор, специализирующийся на роботизированных системах с визуальным управлением. В сложных системах, например, в коробках передач, становится преобладающим несколько номеров деталей. Картер трансмиссии — это большой объект с множеством отверстий и сложными поверхностями, идеальный для зрения, но дорогой для точного жесткого крепления. «Размеры партий также становятся меньше с более частыми переналадками. Вот почему системы машинного зрения, управляемые роботами, становятся столь важными во многих приложениях». Он также наблюдал за ростом числа систем трехмерного машинного зрения, особенно в приложениях для сбора мусора и контейнеров.

Это выходит за рамки рекомендаций. «Контроль качества — идеальное приложение для поиска наличия и отсутствия отверстий и других особенностей или определения правильности сборки компонента», — сказал он. Еще одна богатая область – метрологический контроль. «Вместе с нашим партнером Hexagon мы создали систему, основанную на совместном роботе, который проверяет продукт клиента. Раньше это делалось на КИМ в отдельной комнате с контролируемой температурой. В течение многих лет производители хотели сделать это в производственных цехах. Теперь можно иметь полностью портативную систему без ограждений, идеально подходящую для проверки первого изделия прямо на производственном оборудовании», — сказал он.

Он согласился с тем, что число таких приложений растет в МСП. Он также отметил, что этим предприятиям не хватает квалифицированной рабочей силы, что требует большей автоматизации.

Компания ABB также разработала роботизированную систему контроля в сотрудничестве с NUB3D (которую она впоследствии приобрела), ведущим новатором в области цифровых решений для трехмерного контроля и контроля качества. Готовая система состоит из 3D-сканирующего датчика белого света, установленного на руке робота ABB.

Stäubli Corp. (Duncan, SC) is a robot company that uses a variety of machine vision from third-party vendors to build applications for robot vision guidance. But it also offers another use of vision systems with industrial robots that need human interaction:a virtual safety fence around robots.

As explained by Olivier Cremoux, business development manager, North America robotics for Stäubli, man/robot collaboration can be binned into five different stages. The lowest stage 1, common in most industrial robots, is no direct contact, where any interaction between man and machine is dangerous. “The robot and operator are separated by hard fences,” he said. The highest, stage 5, is where contact is desired and required, for example when a robot is hand guided by an operator to carry out or assemble a heavy tool or other simultaneous motions with a robot. There are stages in-between where some contact is desired at different levels, and where the robot often needs to stop and let the human do something. “This in-between represents 95% of collaborative applications,” he said.

In these intermediate stages, a 3D scanning vision system that scans outwards from the workcell can detect a human approaching. Within a certain distance, it signals the workcell to slow the robot down to prevent contact and possible injury. As the human approaches even closer, it stops the cell entirely. This allows the human to perform an action, such as inspection or placement, then move away, allowing the cell to automatically restart.

HNJ Solutions Inc. (Carson, CA) is an integration company founded to provide vision systems for manufacturing, including with robots, according to President Greg McEntyre. While acknowledging that vision systems are indeed becoming easier to use and install, he says there remains a class of applications where integrators like HNJ are needed. “In complex applications with multiple colors, sizes, orientations, and general uncertainty, it is important to know how cameras work and why they work to install a good system,” he said.

He emphasized how 3D cameras are expanding relevant applications, such as bin picking. “Today we are even importing the CAD model of our objects so that the vision system can understand in 3D the object it needs to pick or operate on,” he said. “Cameras give complete freedom.”

What advice might he offer, as an integrator of complex vision and robotics? “While it may not be easy as it looks, I would say just jump in,” he said. “There is so much useful hardware that vision guidance and vision applications are becoming ever more useful.” In other words, just do it.