Технический вторник:освоение AgentOps для развертывания корпоративного ИИ

Агенты ИИ переходят от демонстраций к производственным нагрузкам, которые касаются реальных данных, реальных систем и реальных бизнес-результатов. Согласно отчету AI Agents Insights компании G2 за 2025 год, 57% компаний уже используют в производстве агенты ИИ, что является четким сигналом о том, что это больше не является экспериментальным проектом. Однако с развертыванием производства возникает новый класс эксплуатационных проблем:контроль доступа к инструментам, возможность аудита, обнаружение отклонений и предотвращение неконтролируемых затрат.

Этот сдвиг требует новой операционной дисциплины для лидеров ИТ и технологий.

AgentOps, сокращение от «агентские операции», представляет собой новый набор методов управления полным жизненным циклом агентов ИИ в производстве. Он распространяет принципы DevOps и MLOps на агентные системы, уделяя особое внимание надежности, управлению, прозрачности, безопасности и контролю затрат.

В отличие от традиционных программных операций, AgentOps приходится бороться с недетерминированным поведением, использованием автономных инструментов и контекстно-зависимыми рассуждениями. Это проблемы, с которыми обычный мониторинг не может справиться, и это было продемонстрировано в новых исследованиях. Ван и др. (2025) формализовали это в своем исследовании «Опрос по AgentOps», предложив четырехэтапную операционную структуру (мониторинг, обнаружение аномалий, анализ первопричин и устранение), специально адаптированную для агентских систем на основе больших языковых моделей (LLM).

В этом посте излагаются практические рекомендации для корпоративных AgentOps. Он охватывает цели и ограничения, подключение инструментов и данных, оркестрацию длительных процессов, управление жизненным циклом, шаблоны взаимодействия человека и непрерывную оптимизацию посредством оценки и оперативной телеметрии. Позже мы сопоставим эти методы с тем, как платформа UiPath Platform™ поддерживает агентную оркестровку в производстве.

Контрольный список AgentOps, который можно использовать повторно

Прежде чем запускать агенты в производство, команды должны четко ответить на следующие вопросы:

<ли>

Знаем ли мы, за что отвечает каждый агент и кому он принадлежит?

<ли>

Можем ли мы контролировать, какие инструменты агенту разрешено использовать и с какими входными данными?

<ли>

Можем ли мы объяснить, что делал агент при каждом запуске, в том числе какие инструменты он вызывал и какие данные использовал?

<ли>

Можем ли мы перед выпуском проверить поведение агента, не только результаты, но и выбор инструмента и путь выполнения?

<ли>

Можем ли мы обнаружить дрейф и регресс, используя последовательные критерии оценки с течением времени?

<ли>

Можем ли мы связать и спрогнозировать факторы затрат, такие как вызовы моделей, повторные попытки, размер контекста и продолжительность оркестрации?

<ли>

Можем ли мы безопасно развертывать изменения с помощью контроля версий, продвижения среды и откатов?

<ли>

Есть ли у нас четкая модель участия человека для эффективных действий и исключений?

От подсказки к оперативному агенту:цели, ограничения и доверие

Производственному агенту необходимы определенная цель, ограничения и ответственность. У него должна быть ясность относительно результата, за который он несет ответственность, политики, которой он должен подчиняться, какие доказательства или обоснования требуются и когда следует полагаться на человека.

Первая передовая практика — определить цели, границы и правила эскалации каждого агента перед развертыванием.

Организациям следует применять несколько уровней управления, чтобы поведение агентов соответствовало требованиям безопасности и соответствия требованиям. Как минимум, управление должно определять, кто может создавать и публиковать агенты ИИ, какие модели можно использовать, какие данные и инструменты доступны во время выполнения и какие действия разрешены без контроля со стороны человека.

Агенты ИИ должны быть ограничены инструментальными ограждениями, которые определяют, какие инструменты можно вызывать, какие входные данные разрешены, какие побочные эффекты разрешены и когда вызов инструмента должен быть заблокирован или перенаправлен человеку.

Благодаря опыту разработки с использованием как low-code, так и кодированного кода, команды должны иметь возможность определять свод правил своего агента (поведение, доступ к инструментам и ограничения времени выполнения) структурированным, надежным и прозрачным образом. Встроенные средства оценки, оценки и мониторинга помогают поддерживать стабильную производительность агентов и предотвращать дрейф и регресс.

Не менее важно и то, что командам нужен безопасный способ проверить поведение агента перед его подключением к работающим системам. Возможность проверять и генерировать новые сценарии выполнения перед началом производства с помощью моделирования помогает выявить хрупкость интеграции на ранней стадии, уменьшает количество неожиданностей во время выполнения и создает уверенность в том, что агенты будут вести себя надежно при подключении к реальным корпоративным приложениям. Пользователи должны иметь возможность генерировать сценарии ввода, с которыми может столкнуться их агент, и, при необходимости, имитировать вызовы инструментов в ходе отладки и оценки. Это позволяет легче увидеть, выбирает ли агент правильные инструменты, передает ли агент действительные входные данные, корректно обрабатывает сбои инструментов и дает ли ожидаемые результаты, не подвергая риску живые системы или данные.

Подключение агентов ИИ к корпоративным инструментам и данным

Чтобы создать ценность для бизнеса, агенты ИИ должны подключаться к корпоративным приложениям, таким как управление взаимоотношениями с клиентами (CRM), планирование ресурсов предприятия (ERP), продажа билетов, хранилища знаний и внутренние API, включая системы, в которых отсутствуют чистые API.

Ключевой передовой практикой AgentOps является контролируемый доступ к инструментам. Инструменты должны быть явными, управляемыми и проверяемыми. На практике это означает, что агент не должен бесконтрольно выполнять произвольные действия. Он должен работать через утвержденные интерфейсы с определенными входами и выходами, проверкой, протоколированием и обработкой ошибок.

Каждый вызов инструмента должен быть наблюдаемым и проверяемым, чтобы операторы могли понять, что произошло и почему.

Стандартизированные подходы к инструментам публикации и контексту могут помочь командам безопасно масштабировать эту задачу. Например, серверы протокола контекста модели (MCP) предоставляют структурированный способ предоставления агентам ресурсов предприятия в согласованном, доступном для обнаружения формате, обеспечивая при этом проверку подлинности, авторизацию и контроль политики. Стандартизация также позволяет повторно использовать агенты и рабочие процессы, что позволяет безопасно и согласованно совместно использовать надежные ресурсы автоматизации.

Организациям также необходимы гибкие шаблоны развертывания. Агент ИИ может дополнять детерминированный процесс рассуждениями, представляться как инструмент многократного использования или запускаться как автономный компонент, организованный как часть более широкого бизнес-процесса. Гибкость имеет значение, поскольку она позволяет постепенное внедрение, сохраняя при этом контроль, безопасность и эксплуатационную надежность.

Управление жизненным циклом:управление агентами как активами предприятия

По мере масштабирования развертывания агентов организации должны относиться к агентам как к корпоративным активам. Лучшие практики включают в себя ведение реестра агентов, четкое право собственности, управление версиями, разрешения и прозрачность того, к чему прикасается каждый агент.

Руководителям и группам управления рисками нужны четкие ответы о том, какие агенты существуют, кому они принадлежат, к каким данным и системам они имеют доступ, какие процессы от них зависят и какие версии в каких средах работают.

Этот подход к жизненному циклу зависит от идентификации, управления доступом и отслеживания. Агенты должны работать под учетной записью с ограниченной областью действия и разрешениями с наименьшими привилегиями. Управление должно контролировать, кто может создавать, развертывать и эксплуатировать агенты, а также какое поведение во время выполнения разрешено. Оба подхода могут сыграть свою роль. Low-code может сделать логику доступной для просмотра и совместной работы, а закодированные пути могут обеспечить усиленную проверку, общие библиотеки и стандартизированное применение политик между командами.

Прозрачность не менее важна. AgentOps производственного уровня требует способности понимать, что делал ИИ-агент, какие инструменты он вызывал, какие входные и выходные данные были задействованы и почему он принял такое решение. Эта возможность отслеживания поддерживает аудит, анализ инцидентов и укрепление доверия между техническими и бизнес-заинтересованными сторонами.

Операционная прозрачность на уровне экземпляра — это то, где это становится конкретным в масштабе. Командам необходимы агрегированные представления по всему парку агентов, включая возможность воспроизводить сеансы, видеть тенденции надежности по агентам или версиям и понимать, какие интеграции используются чаще всего, а какие не работают.

Эти взгляды важны, потому что без них организациям приходится управлять агентами в темноте, не имея возможности определить, вызван ли скачок затрат одним неправильно настроенным агентом или системной проблемой во всем парке.

Человек в процессе как первоклассный шаблон

Человеческий контроль остается важным для многих рабочих процессов предприятия. Лучший способ разработать шаги с участием человека — это планировать их заранее, а не просто как запасной вариант. Люди могут одобрять важные действия, корректировать результаты, добавлять недостающий контекст или брать на себя управление в исключительных ситуациях.

AgentOps должен поддерживать явные действия человека, такие как утверждения, проверки и обработка исключений. Агенты должны быть настроены на эскалацию на основе пороговых значений доверия, риска транзакций или ограничений политики. Это создает контролируемую операционную модель, в которой ИИ занимается рутинными делами, а люди управляют крайними случаями и решениями, имеющими высокие ставки.

Непрерывная оптимизация:обеспечение надежности и совершенствования агентов ИИ

Развертывание агента — это начало его жизненного цикла, а не конец. В процессе производства агенты сталкиваются с новыми входными данными, меняющимися данными и изменяющимися системами. Серьезной новой проблемой является дрейф агентов, когда агенты в производстве действуют иначе, чем во время оценки, из-за изменений в целях, контексте, рассуждениях или взаимодействии инструментов. Дрифт может проявляться по-разному. Распределение входящих задач меняется, базовые данные или источники знаний меняются, поведение LLM меняется в зависимости от версии модели или ухудшается интеграция с внешними инструментами.

Постоянное обнаружение отклонений должно быть основной обязанностью AgentOps, оно должно рассчитываться через регулярные промежутки времени, сравниваться с базовыми показателями и запускать исправления при превышении пороговых значений.

Философия разработки, основанная на оценке, рассматривает оценки как первоклассные артефакты на протяжении всего жизненного цикла, а не как одноразовые ворота. Оценки во время разработки и после развертывания образуют непрерывный цикл, который определяет качество, последовательно измеряет его и направляет безопасные итерации по мере развития агентов.

Оценки во время разработки и выполнения, основанные на постоянном сигнале качества

Во время разработки оценки определяют, как выглядит «хорошо» до того, как агент достигнет производства, охватывая как результаты, так и важные модели поведения, такие как выбор инструментов, промежуточные решения и траектории выполнения.

После развертывания те же критерии можно применить к реальным производственным запускам с использованием трассировок выполнения. Результаты обоих этапов должны быть объединены в единый сигнал производительности для отслеживания качества с течением времени, сравнения версий и раннего обнаружения регрессов, в то же время позволяя командам углубляться в глубинные причины.

Оптимизация, обратная связь и память как часть цикла

Результаты оценки не просто измеряют качество. Они должны активно способствовать улучшению. Обратная связь с человеком и результаты работы могут быть связаны с оценками и трассировками, расширяя набор регрессий и, при необходимости, информируя память управляемого агента.

Оценка, контролируемые циклы обратной связи и дисциплинированная практика запоминания вместе создают систему, в которой агенты совершенствуются за счет измеримых, объяснимых и постоянно проверяемых изменений.

Управление затратами как дисциплина AgentOps

Агенты ИИ вводят динамические драйверы затрат, связанные с поведением во время выполнения. Вызовы моделей, использование инструментов, повторные попытки, длительность оркестрации и размер контекста — все это суммируется.

К стоимости следует относиться как к первостепенной проблеме на раннем этапе.

Команды должны иметь возможность сравнивать эффективность разных версий агентов перед развертыванием, выявлять ненужные траектории или ненужные вызовы инструментов, а также улавливать слишком большой контекст, прежде чем он станет дорогостоящим в производстве.

В производстве организациям необходима прозрачность затрат на запуск, на каждого агента и в целом, чтобы операторы, администраторы и руководители работали, используя один и тот же источник достоверной информации. Ограничения и оповещения помогают предотвратить неконтролируемые расходы, а средства управления оркестрацией, такие как повторные попытки, тайм-ауты и пути эскалации, ограничивают выполнение. В совокупности это обеспечивает непрерывную оптимизацию затрат:перед выпуском изменения оцениваются как по качеству, так и по эффективности, а после развертывания проверяются на основе реальных данных о выполнении.

Стандартизация и развертывание в масштабе предприятия

Масштабирование агентской автоматизации требует повторяемой операционной модели, в которой новые агенты по умолчанию наследуют проверенные шаблоны. Стандартизация уменьшает различия между командами, обеспечивая при этом последовательное применение контроля качества, безопасности и затрат. Повторно используемые структуры, согласованные контракты на инструменты и общие подходы к оценке помогают командам двигаться быстрее, не изучая заново одни и те же уроки.

Во время выполнения организации получают выгоду от единой плоскости управления, которая управляет выполнением независимо от того, как созданы агенты. Общие проблемы, такие как утверждения, повторные попытки, обработка исключений и участие человека, должны быть реализованы один раз и повторно использоваться в рабочих процессах. Общие активы, политики и защитные меры должны распространять улучшения по всему парку агентов, одновременно поддерживая как low-code, так и код, чтобы команды могли переходить от экспериментов к усиленному производству, не нарушая жизненный цикл и не теряя прозрачности затрат и использования по мере увеличения масштаба.

Как UiPath поддерживает AgentOps на практике

Цели, ограждения и доверие

UiPath обеспечивает основу доверия и управления, предназначенную для согласования поведения агентов с требованиями корпоративной безопасности и соответствия требованиям. Организации могут применять несколько уровней управления:

<ли>

Агентическое управление:защитные меры политики на уровне платформы обеспечивают доступ разработчиков, использование LLM, проверку значения оценки агента при событиях публикации и доступ к данным. Агенты могут быть разработаны с использованием LLM и средств защиты, которые ограничивают взаимодействие агентов с корпоративными системами, включая то, какие инструменты можно вызывать, какие входные данные разрешены, какие побочные эффекты разрешены и когда вызов инструмента должен быть заблокирован или перенаправлен человеку.

<ли>

Управление ИТ:UiPath обеспечивает идентификацию работоспособных артефактов, отслеживание контроля доступа на основе ролей (RBAC), обнаружение личной информации (PII) во время полета и управление данными для защиты конфиденциальной агентской автоматизации. Доступ является преднамеренным и прозрачным.

<ли>

Управление инфраструктурой:размещение данных, шифрование, границы сети, усиление безопасности и соответствие таким стандартам, как Общий регламент по защите данных (GDPR), Закон о переносимости и подотчетности медицинского страхования 1996 года (HIPAA), Федеральная программа управления рисками и авторизацией (FedRAMP®) и ISO 27001.

UiPath также поддерживает укрепление доверия к предпроизводству посредством моделирования. Пользователи могут использовать естественный язык для создания сценариев ввода, с которыми их агент может столкнуться при вызове. Они также могут выбрать имитацию вызовов инструментов как в отладочных, так и в оценочных прогонах, чтобы понять траекторию. Это помогает проверить выбор инструментов, правильность ввода, устойчивость к сбоям инструментов и ожидаемые результаты без риска для живых систем или данных.

Подключение инструментов и данных

На платформе UiPath «инструменты» — это конкретные интеграции и средства автоматизации с определенными входными и выходными данными, проверкой, журналированием и обработкой ошибок. Каждый вызов инструмента можно отслеживать, отслеживать и управлять им.

UiPath также поддерживает серверы MCP как стандартизированный способ предоставления агентам средств автоматизации и корпоративных ресурсов. Серверы MCP действуют как управляемые шлюзы, которые публикуют инструменты, действия и контекст в согласованном, доступном для обнаружения формате, обеспечивая при этом проверку подлинности, авторизацию и контроль политики. Серверы MCP дополнительно позволяют повторно использовать агенты и рабочие процессы, гарантируя безопасное и последовательное совместное использование одних и тех же надежных ресурсов автоматизации.

UiPath поддерживает гибкие шаблоны развертывания. Агент может быть встроен, чтобы дополнить детерминированный процесс рассуждениями, представлен через MCP как агент или инструмент многократного использования или развернут как автономный агентный компонент, организованный как часть более широкого бизнес-процесса в UiPath Maestro™.

Управление жизненным циклом и отслеживание

Каждый агент может работать под учетной записью с ограниченной областью действия и разрешениями с наименьшими привилегиями. Управление платформой определяет, кто может создавать, развертывать и эксплуатировать агенты, а также какое поведение во время выполнения разрешено. Подходы с низким кодированием и кодированием помогают поддерживать управление в масштабе.

Служба трассировки UiPath предоставляет подробный журнал состояния агента во время выполнения, вызовов инструментов и пояснения на основе рассуждений LLM в цикле агента. Это доступно во время разработки, во время оценки и во время выполнения для всех агентов, управляемых в UiPath, и может быть расширено через OTEL для поддерживаемых поставщиков бизнес-аналитики.

UiPath отображает совокупные представления по всему парку агентов, включая повторы сеансов, информационные панели частоты сбоев, которые показывают тенденции надежности для каждого агента или версии, а также статистику использования инструментов.

Схемы взаимодействия человека

UiPath поддерживает явные действия человека, такие как утверждения, проверки и обработка исключений. Агенты могут быть настроены на эскалацию на основе пороговых значений доверия, риска транзакций или ограничений политики.

Оценка, оптимизация и контролируемая память

Результаты оценки во время разработки и во время выполнения объединяются в показатель Agent Score – постоянный сигнал производительности для отслеживания качества с течением времени, сравнения версий и раннего обнаружения регрессов.

Функции оптимизации в UiPath Maestro™ и Agent Builder в UiPath Studio оценивают данные оценки и времени выполнения, чтобы создавать взвешенные предложения по улучшению, которые можно применить обратно в соответствующие определения. Обратная связь с человеком и результаты работы могут быть связаны с оценками и трассировками, расширяя набор регрессий и, при необходимости, информируя память управляемого агента.

Управление затратами и ограниченное выполнение

UiPath обеспечивает видимость затрат на каждый запуск, на каждого агента и в совокупности. Жесткие ограничения лицензирования и оповещения предотвращают неконтролируемые расходы, а средства управления оркестрацией, такие как повторные попытки, тайм-ауты и пути эскалации, ограничивают выполнение.

Стандартизация и оркестровка

Во время выполнения UiPath Maestro действует как объединяющая плоскость управления, которая управляет выполнением независимо от того, как созданы агенты. Общие проблемы, такие как утверждения, повторные попытки, обработка исключений и участие человека, реализуются один раз и повторно используются в рабочих процессах. Общие активы, политики и защитные меры распространяют улучшения на весь парк агентов ИИ.

Сводка

AgentOps превращает агентов искусственного интеллекта в надежные корпоративные возможности. Это требует управления, прозрачности, обеспечения надежности, строгости оценки и контроля затрат.

Комбинация Maestro и Agent Builder платформы UiPath в UiPath Studio поддерживает эти требования, сочетая создание и оценку агентов с надежной оркестровкой и управлением предприятием. Вместе они поддерживают корпоративную модель, в которой агенты занимаются интерпретацией и планированием, средства автоматизации выполняют детерминированные шаги, а люди сохраняют полный контроль посредством утверждений и надзора.

Это основа, необходимая предприятиям для безопасного и надежного масштабирования агентной автоматизации. Агенты ИИ действуют как управляемые активы в реальных бизнес-процессах с четкой подотчетностью, измеримой производительностью и постоянным улучшением.