Синергия машинного зрения и робототехники для автоматизации нового поколения

Следующая «динамическая дуэт» может не вовлекать людей вовсе. «Машинное зрение и роботы — идеальный брак», — заявил Клас Бенгтссон, глобальный менеджер по продуктам систем зрения ABB Robotics (Оберн Хиллз, Мичиган). Это не новое. Машинное зрение и робототехника идут рука об руку годами. Но в отличие от других браков, этот процветает: возможности машинного зрения расширяются, находят новые применения. «Идеальный» брак прошлого — наведение робота. Но новые применения — как дети от хорошего брака — теперь включают инспекцию деталей, чтение бар/QR-кодов для прослеживаемости, новые способы упаковки и распаковки.

Всё сводится к гибкости, которую даёт машинное зрение. «Зрение помогло ABB расширить возможности многих робототехнических приложений», — сказал он.

Потребность в гибком управлении роботами вызвана растущим разнообразием продуктов и необходимостью сократить лид-таймы во многих отраслях. Почему гибкость так важна? «Если вы жёстко закладываете автоматизацию робота, в минуту изменения продукта или линии нужно менять программу», — сказал Бенгтссон. Это также значит менять точную оснастку или способ размещения детали, чтобы жёстко запрограммированный робот мог надежно захватывать, полировать или иначе обрабатывать деталь. Затраты нарастают.

Машинное зрение сдерживает эти затраты, позволяя роботу «видеть» вариации в деталях и ориентации. 3D-сканирующие сенсоры открывают ещё больше применений. Бенгтссон: «Вопрос 15 лет назад: «Зачем машинное зрение». Сегодня: «Зачем нет?»».

Люди и роботы сотрудничают

Rethink Robotics (Бостон), основанная в 2008, строит коллаборативные роботы (коботы). Флагман — Sawyer. «Кобот вроде Sawyer лучше всего для повторяющихся, монотонных задач человеческого масштаба», — сказал Майк Фейр, менеджер по продукту. Это работа с продуктами или движениями, реплицирующими человеческие, но изнурительно повторяющимися.

«Приложения: упаковка, обслуживание станков, загрузка/разгрузка линий, инспекция, тестирование печатных плат», — сказал он. Обслуживание ЧПУ-станков — ещё одно, заменяя человека, загружающего станок, ждущего завершения цикла и разгружающего.

Rethink настолько верит в машинное зрение, что встраивает камеру в запястье каждого Sawyer. «Встроенная система зрения [делает] нашего кобота быстрее и легче в внедрении, убирая хлопоты и дорогое время интеграции типичных систем зрения. Добавляем софт для лёгкого развёртывания [тех] систем зрения», — сказал Фейр. На ATX West 2018 он показал, как даже журналист может запрограммировать простую задачу за минуты. Вместе со стикерами-кодами вроде QR, софт помогает роботу позиционироваться, адаптируясь к вариативности рабочей ячейки. Это также облегчает перенос Sawyer между задачами и локациями.

Universal Robots USA Inc. (UR; Анн Арбор, Мичиган) также предана коботам. Их три робота (грузоподъёмность 3–10 кг) работают в «экосистеме» сторонних провайдеров. Бесплатная программа разработчиков Universal Robots+ позволяет сторонним поставщикам концевиков, систем зрения и периферии создавать плагины для коботов.

На сайте UR показано шесть вариантов зрения в экосистеме для pick-and-place, автоматизации ЧПУ, упаковки и паллетизации, сборки, завинчивания и обслуживания станков. Доступны 2D и 3D сканеры. Несколько пакетов ПО для управления движением и симуляции.

Интеграция, простота использования

Чтобы машинное зрение было полезно, оно должно быть доступным — важный элемент экосистемы UR. Например, сторонний пакет Universal Metrology Automation от 3D Infotech интегрирует системы управления движением, 3D-сканеры и софт инспекции в конфигурируемое автоматизированное метрологическое решение. Другие программы дают онлайн/офлайн программирование, симуляцию, мониторинг.

«Сегодня интеграция роботов и систем зрения намного лучше», — сказал Роб Антонидес, президент Apex Motion Control (Суррей, БК). Apex — интегратор, полностью использующий экосистему UR. «Раньше нужно было «хаковать» системы зрения с контроллерами роботов, сегодня — более бесшовные plug-and-play, через Ethernet IP или любую сеть. 20 лет назад уходила неделя на настройку vision-guided системы и коммуникации; сегодня — 15–20 минут».

Машинное зрение особенно полезно для Apex. Автоматизировали разные пекарские операции, включая украшение тортов. «Системы зрения позволяют справляться с несовершенствами и неидеальной презентацией и позиционированием продукта. Сканируем поверхность торта 3D-сенсором, чтобы быстро и легко украсить», — сказал Антонидес.

FANUC также делает упор на лёгкую интеграцию. «В конце прошлого года выпустили новый контроллер с заметными функциями для интегрированного робототехнического зрения», — объяснил Дэвид Дечоу, штатный инженер по интеллектуальной робототехнике/машинному зрению FANUC America Corp. (Рочестер Хиллз, Мичиган). «У FANUC все системы зрения теперь встроены в контроллер». FANUC была одной из первых робототехнических компаний, включивших зрение для наведения, предлагая его 30 лет назад как опцию в системах наведения.

Дечоу также отметил, что компании машинного зрения фокусируются на более лёгких интерфейсах с роботами. «Поставщики зрения заметно поддерживают этот рынок», — заявил он. «Тяжёлая работа по заставке коллаборации — на стороне зрения. Робот ждёт точку. Трюк — использовать машинное зрение для нахождения правильной точки, слияния системы координат зрения с системой координат робота». Согласился с другими: машинное зрение даёт несравнимую гибкость во многих задачах автоматизации. Сегодня соотношение стоимость/польза начинает لصالح зрения перед точной оснасткой и жёстким кодированием.

ИИ: позы и дискриминация

Обсуждение зрения, данных и роботов ведёт к вопросу: насколько полезен ИИ для зрячих роботов. Дечоу отметил подвох — ИИ не особо применим к робототехническому наведению. «Обучение ИИ исключительно хорошо в категоризации и дифференциации. В дискретном анализе — не хорошо», — объяснил он. Роботу нужно двигаться в дискретную точку. В сочетании с метрологией измеряются дискретные геометрические величины. «Нечему учиться», — сказал он.

Но не всё. Если не применимо к наведению, есть задачи, где ИИ даёт ценность. «Например, идентификация и классификация объекта на фоне для определения объекта, над которым работает робот, в комбо с наведением — хорошее гибридное применение», — сказал он. Другое — оптимизация захвата и хвата. «Нахождение идеальной ориентации манипулятора в пространстве и траектории подхода — область обучения, а не детерминизма. Много хороших и плохих ориентаций», — объяснил он. «ИИ особенно полезен, когда детали случайны и не однородны в размещении и размере».

Питер Кавалло из Denso Products and Services Americas Inc. (Лонг-Бич, Калифорния) согласился: существенный рост возможностей систем зрения реален и открыл новые возможности для робототехники. «В простейшей форме [зрение] находит деталь и работает с ней. В самой сложной, которую мы видим сейчас, оно может видеть, интерпретировать, распознавать и видеть деталь за тем, чем она есть — даже в разных конфигурациях или позициях — не двигая ни деталь, ни робота».

Он видит 3D-сканирование особенно важным, делающим ранее сложные задачи вроде bin picking простыми. Последняя система Denso использует структурированный свет для 3D зрения с CMOS-детектором.

Его взгляд на применение ИИ в робототехнике основан на контексте шире системы. «Переходя к роботам следующего поколения, мы вступаем в глубокое обучение, где зрение становится частью всей системы», — объяснил он. «На Токийском робототехническом шоу показали систему с 28 степенями свободы: два робота с руками складывали салат». Почему промышленным пользователям быть впечатлённым? Робот выбирал салат, фрукты, овощи, используя только заранее данное знание. «Мы не программировали робота; мы сказали ему, чего хотим», — сказал он. Подумайте о числе неструктурированных задач на цехе, идеальных для такой автоматизации.

Не только для гигантов

Машинное зрение, интеграция, софт, даже ИИ могут заставить думать, что этот уровень автоматизации только для Fortune 500. Не так. «Это применимо к малым и средним бизнесам, потому что зрение сегодня разумно по стоимости. Было $50к–100к — теперь менее $5к. Нет причин стесняться», — сказал Кавалло.

Рик Брукшир, менеджер по продукту Epson America Inc. (Карсон, Калифорния), согласился: робототехническая идеальна для SME. «Помимо крупных клиентов, покупающих 50, 100, 1000 роботов, у нас много мелких, берущих 1–3 робота», — сказал он. Epson специализируется на малых роботах для высокоточных задач, вырастая из потребностей в высокоточных часах. «Все наши роботы доступны с интегрированным видовым наведением, фича, растущая в принятии. Стала более надёжной. Люди готовы её использовать».

Как и другие, он верит: простота жизненно важна — особенно для SME. Программа Epson Vision Guide использует объектный point-and-click GUI, позволяя разработчикам быстро создавать приложения. Идеальное применение vision-guided робота — детали не в разумных допусках или не в последовательной презентации, но точность Epson открывает другую область.

Допуски ужесточаются. Детали уменьшаются. Точное размещение становится сложнее. «Тут помогают точные роботы Epson», — сказал он. «Это происходит в малых компаниях всё чаще. Роботы настолько просты в использовании, что многие клиенты делают интеграцию сами». Роботы даже устанавливают винты менее 0.7 мм. Со старением кадров это может стать критичным.

Джеймс Купер, вице-президент по продажам Applied Manufacturing Technologies (AMT; Орион, Мичиган), имеет уникальный взгляд из автопрома. AMT — системный интегратор, специализирующийся на vision-guided роботосистемах. Множество номенклатур со сложными системами, как коробки передач, становятся превалирующими. Коробка передач — большой объект со множеством отверстий и сложными поверхностями — идеален для зрения, но дорог для точной жёсткой оснастки. «Размеры партий уменьшаются, смены чаще. Поэтому vision-guided роботосистемы становятся критичны».

За рамками наведения. «Инспекция качества — идеальное применение: поиск наличия/отсутствия отверстий и фич или определение, правильно ли собран компонент», — сказал он. Богатая область — метрологическая инспекция. «Построили систему с партнёром Hexagon на базе кобота, инспектирующего продукт клиента. Раньше делали на КИМ в отдельной термостатируемой комнате. Годами производители хотели делать это на производстве. Теперь возможно полностью портативное решение без ограждений, идеальное для первичной инспекции прямо у станка».

Согласился, что приложения растут в SME. Также отметил: эти операции борются за квалифицированных кадров, толкая к большей автоматизации.

ABB разработала робототехническую инспекционную систему через сотрудничество с NUB3D (позже приобретённой), лидером в цифровых 3D-инспекции и контроле качества. Готовое решение — 3D сканер белого света на руке ABB робота.

Stäubli Corp. (Данкан, ЮК) использует разные системы зрения сторонних вендоров для приложений наведения. Но также предлагает другое применение зрения с промышленными роботами, требующими взаимодействия с человеком: виртуальный забор безопасности вокруг роботов.

Как объяснил Оливье Крему, менеджер по бизнесу в Северной Америке Stäubli, коллаборация человек/робот делится на пять стадий. Низшая 1 — нет прямого контакта, любое взаимодействие опасно. «Робот и оператор разделены жёсткими ограждениями». Высшая 5 — контакт желателен и необходим, например, когда робот ручным управлением оператора переносит тяжёлый инструмент или выполняет одновременные движения. Есть промежуточные стадии, где контакт желателен на разных уровнях, робот часто останавливается, давая человеку действовать. «Эти промежуточные — 95% коллаборативных применений», — сказал он.

На этих стадиях 3D-сканирующая система зрения, сканирующая наружу из рабочей ячейки, детектирует приближение человека. В определённой дистанции сигналит замедлить робота для предотвращения контакта и травм. При ещё большей близости — останавливает ячейку полностью. Это позволяет человеку действовать (инспекция, размещение), затем уйти, и ячейка автоматически перезапускается.

HNJ Solutions Inc. (Карсон, Калифорния) — интегратор систем зрения для производства, включая с роботами, по словам президента Грега МакЭнтайра. Признавая, что системы зрения становятся легче в использовании и установке, он говорит: остаётся класс приложений, где нужны интеграторы вроде HNJ. «В сложных приложениях с множеством цветов, размеров, ориентаций и неопределённости важно знать, как камеры работают и почему, чтобы поставить хорошую систему».

Подчёркнул, как 3D-камеры расширяют применения, вроде bin picking. «Сегодня даже импортируем CAD-модели объектов, чтобы система зрения понимала в 3D объект, который нужно захватить или обработать. Камеры дают полную свободу».

Какой совет как интегратора сложных систем зрения и робототехники? «Пока это может выглядеть не так просто, я скажу: просто начните», — сказал он. «Столько полезного железа, что vision guidance и приложения становятся всё более полезными». Другими словами — просто сделайте это.