Раскройте продуктивность: объедините UI-автоматизацию с LLM-базированной автоматизацией

Недавно ряд ведущих ИИ-компаний запустили новые возможности, использующие их мощные фундаментальные большие языковые модели (LLM) для быстрой автоматизации многих действий, которые люди совершают на экранах. Computer Use Anthropic, Amazon Q Business и грядущий OpenAI «Operator» могут быстро понимать экраны, оперировать используемым программным обеспечением и эмулировать желаемые пользователем действия — без какого-либо кодирования или обучения модели.

LLM-базированная автоматизация — новый способ автоматизации. Она существенно отличается от UI-автоматизации, которая полагается на обученные модели и правила-базированные подходы для извлечения информации и взаимодействия с экранами, системами и программным обеспечением. Поскольку LLM-базированная автоматизация намного проще в использовании, некоторые отраслевые наблюдатели предложили, что она может вытеснить UI-автоматизацию.

Мы провели обширную оценку этих новых технологий и взволнованы их потенциалом расширить влияние автоматизации по предприятиям и пользователям. Фактически, мы интегрируем лучшее из них в нашу платформу. Потому что они позволяют ИИ взаимодействовать с программным обеспечением так, как это делают люди, мы верим, что они могут действительно революционизировать взаимодействия между людьми и экранами. Они держат потенциал поднять личную продуктивность на новые высоты и позволить практически любому стать citizen developer для автоматизации их скучных, повторяющихся задач.

Однако LLM-базированная автоматизация никогда полностью не заменит UI-автоматизацию в каждом процессе. Например, UI-автоматизация — гораздо лучший выбор для высокообъемных, миссионно-критических автоматизированных процессов, включающих доступ к множественным системам и работу с чувствительными или проприетарными данными. Эти типы процессов изобилствуют по предприятиям — и они, в общем, лучше обрабатываются UI-автоматизацией.

Чтобы понять, почему это так, давайте сделаем быстрый погружение в то, как работает каждый подход.

UI-автоматизация и LLM-базированная автоматизация работают по-разному — и это имеет значение

LLM-базированные подходы обычно используют мультимодальную LLM (понимающую картинки, слова, аудио и т.д.) чтобы «прочитать» экран и предпринять действие. Подход зависит от LLM понимания информации на экране (данные, поля и т.д.), хостящейся в облаке. Модель затем предсказывает действия, которые совершил бы человек, и отправляет инструкции предпринять действие (копирование и вставка данных и т.д.).

Наоборот, в UI-автоматизации роботы следуют предварительно разработанному набору инструкций для завершения определенных задач. Они могут запускаться в среде клиента и/или пользователя. Данные могут интерпретироваться только локально, и роботы следуют четкому, детерминированному набору инструкций. Недавние ИИ-основанные достижения значительно улучшили стабильность и надежность, адресуя многие из первоначальных проблем UI-автоматизации с хрупкостью и поломками.

Четкие преимущества UI-автоматизации

Различия между этими двумя подходами делают ВСЮ разницу при автоматизации сложных, высокообъемных, многосистемных процессов, требующих высокой безопасности и точности. Для этих типов рабочих процессов UI-автоматизация — гораздо лучший вариант. Вот почему:

Точность и полнота: Миссионно-критические процессы вроде order-to-cash зависят от точного извлечения, перемещения и постинга данных из одного места в другое, а также документации и коммуникаций, окружающих эти активности. В этой области LLM-базированные подходы не могут сравниться с производительностью UI-автоматизации.

Например, анализ данных UiPath показывает, что 96.5% всех автоматизаций наших клиентов запускаются успешно с нашими UI-автоматизационными подходами. Публично доступные данные на ИИ-базированной автоматизации предполагают, что она значительно менее надежна. Например, Anthropic сообщила о 14.9% точности в тесте, спроектированном для оценки попыток разработчиков заставить модели использовать компьютеры — далеко ниже человеческого уровня навыка 70-75%. Хотя точность наверняка улучшится со временем, есть долгий путь до достижения паритета с UI-автоматизацией.

Есть и другие проблемы. Все LLM склонны к галлюцинациям и могут предпринимать непредсказуемые действия. Например, исследователи Anthropic отмечали случаи, когда их LLM внезапно уходил от задачи — кликая неправильные экраны или непонимаемо скачивая фото национальных парков. Детерминированные роботы UI-автоматизации просто не имеют способности идти rogue так.

Потом есть вопрос полноты. Подход, делающий скриншоты видимого экрана, может пропустить данные в выпадающих списках, выходящих за поля. И он может упустить короткоживущие действия, которые не происходили, когда скриншоты делались. UI-автоматизация не имеет этих проблем.

Безопасность и управление: Когда речь идет об обеспечении приватности, блокировке вредоносных вторжений и удержании проприетарных данных внутри файрволов, UI-автоматизация — значительно менее рискованный выбор. Например, с UI-автоматизацией собираются только нужные данные. В отличие от LLM-базированной автоматизации, UI-автоматизация не включает массовое извлечение скриншотов, которые могут неведомо содержать чувствительные данные. Более того, программные роботы UiPath, выполняющие нашу UI-автоматизацию, могут быть закределинчены и их доступ к чувствительным данным контролироваться. Тот уровень безопасности в настоящее время недоступен с LLM-базированной автоматизацией.

Для нас это не либо/или — это и то, и другое

Посмотрев в будущее, ясно, что подъем LLM-базированной автоматизации представляет большой шаг вперед для определенных типов процессов и активностей. Мир близок к реализации мечты о on-the-fly, no-code, prompt-драйвенной автоматизации в руках практически всех, кто использует экраны и программное обеспечение — вводя в новую эру личной продуктивности и производительности, какой мы не видели раньше.

Мы уже принимаем шаги, чтобы привести эти типы способностей в UiPath Platform™. В частности, мы скоро включим это в наши end user experiences вроде Autopilot™ for Everyone — а также предоставим LLM-базированную автоматизацию как дополнительную опцию для citizen developers и экспертов автоматизации.

Мы знаем, что предприятия захотят воспользоваться этими новыми способностями — но хочет делать это безопасно и с полным контролем. Поэтому мы расширяли способности нашей платформы предоставлять необходимую оркестрацию, управление и governance, которые предприятия требуют, независимо от того, какую модель или модели они принимают.

Но даже пока мы расширяем функциональность и поддержку для LLM-базированной автоматизации, мы продолжаем продвигать наши UI-автоматизационные способности — потому что UI-автоматизация будет лучшим решением для широкого спектра критических предприятий процессов. Мы продолжим использовать возникающие ИИ-достижения, чтобы сделать нашу UI-автоматизацию еще более интеллектуальной, более ловкой в понимании и действии без значительного кодирования и обучения, и более устойчивой. Главный пример: новый UiPath Healing Agent (теперь в public preview), который может само-исцелять неудачные автоматизации.

Кратко, UiPath верит в будущее LLM-питанируемой автоматизации во всех её формах, включая как UI-, так и LLM-базированные подходы. У каждого уникальные сильные стороны; каждый лучший выбор для определенного набора возможностей автоматизации. Наша цель — сделать оба доступными — вместе с любыми новыми ИИ-подходами, которые возникнут — через 엔терпрайз платформу, которая может оркестрировать, управлять и управлять полным паноптикумом вариантов автоматизации, доступных как сегодня, так и в будущем.