Можем ли мы автоматизировать качество данных для поддержки искусственного интеллекта и машинного обучения?

Могут ли организации автоматизировать качество данных для улучшения ИИ и машинного обучения?

За последнее десятилетие компании начали осознавать и раскрывать потенциал искусственного интеллекта (ИИ) и машинного обучения (МО). Пока компания находится в зачаточном состоянии, компании начинают понимать, какое значительное влияние может оказать эта технология, помогая им принимать более эффективные, быстрые и эффективные решения.

Конечно, AI и ML не являются серебряной пулей, помогающей предприятиям внедрять инновации. На самом деле, успех этих алгоритмов зависит от их основы, в частности от качества данных.

Без этого предприятия увидят, что сама цель, для которой они установили ИИ и машинное обучение, потерпит неудачу, с непредвиденными последствиями неверных данных, которые нанесут необратимый ущерб бизнесу как с точки зрения его эффективности, так и с точки зрения репутации.

Но есть еще одна область исследований, которая созрела для развития; а именно, можно ли улучшить и поддерживать качество данных с помощью автоматизации и машинного обучения?

Риск низкого качества данных

От сервисов потоковой передачи фильмов до чат-ботов, помощи в информировании супермаркетов о расположении своих полок и направления нас через крупные транспортные узлы — машинное обучение влияет на нашу жизнь таким образом, что десять лет назад это было невообразимо.

Но что произойдет, если алгоритм настроен на работу на основе данных низкого качества? Риски в будущем могут быть гораздо более серьезными, чем просмотр фильма, который вам не нравится.

Если мы начнем доверять машинному обучению, например, для улучшения открытия и тестирования фармацевтических препаратов, что произойдет, если лекарство будет сформулировано, но в данных о химических соединениях, используемых для моделирования тестирования, будут ошибки? Последствия могут быть серьезными.

Новое приложение ML, на которое также могут повлиять плохие базовые данные, — это беспилотные автомобили. От карт и адресов до того, как транспортное средство реагирует на велосипедиста, данные, используемые для обучения машины, будут иметь решающее значение для принятия потребителями и регулирующими органами.

Алгоритмы машинного обучения — наборы правил и вычислений, помогающие решать определенные проблемы, — могут либо способствовать повышению качества данных, либо отбрасываться из-за неточных данных, если при их построении не учитывается возможность некачественных данных.

Автоматизированное качество данных

Как и в случае любой цифровой трансформации, переход от ручного к автоматизированному, а затем к «интеллектуальному» управлению качеством данных потребует долгосрочного плана. Компания Experian выделила четыре стадии развития управления данными, которые мы называем кривой зрелости управления данными. Unaware, Reactive, Proactive и Optimized &Governed отражают четыре этапа, которые охватывают полный цикл стратегии обеспечения качества данных.

Оценка выявила неуклонное продвижение вверх по кривой зрелости, поскольку организации начинают высвобождать потенциал данных, которые они хранят, и относиться к ним более серьезно. Самое интересное, что те, кто находится на стадии «Оптимизация и управление», могут увидеть начало другого уровня, который можно назвать «интеллектуально автоматизированным».

«Интеллектуально автоматизированный» означает наличие систем и процессов, помогающих людям, ответственным за качество данных, определить, что их больше всего беспокоит. К настоящему времени мы все должны регулярно пересматривать ключевые показатели производительности, чтобы выявлять тенденции в качестве данных, возможно, смотреть на общую скорость завершения ключевых атрибутов или отслеживать любые проблемы со временем на этапах получения или загрузки данных. Но для того, чтобы понять качество ваших данных, нам нужно более глубоко изучить их содержание.

Например, достаточно ли сказать, что вы собрали дату рождения, чтобы удовлетворить требования сторонних данных в 99% случаев, когда большая часть собранных вами дат является системной и, следовательно, не является реальной датой рождения? Это может вызвать настоящие проблемы, а непредвиденные последствия могут отразиться на вашем процессе принятия решений.

Дальнейшие шаги

Большинство программ контроля качества данных уже содержат элементы автоматизации и тестирования и обучения. Следующим этапом в этой эволюции является использование машинного обучения для автоматического распознавания различных типов данных и реагирования на них — «интеллектуальная автоматизация».

Например, инструмент управления данными, который может распознавать стандартную информацию, такую ​​как адрес, адрес электронной почты, номер кредитной карты или номер государственной страховки, требует минимального предварительного обучения или написания правил перед выполнением таких действий, как проверка ввода или пометка проблемы соответствия в менеджер.

Конечной целью является машинное обучение для качества данных, которое со временем улучшается. Хорошим примером этого является название компании — Tesco PLC — это то же самое, что и Tesco Stores Ltd? А как насчет части группы Tesco, в названии которой нет слова «Tesco»?

Группировать коммерческие объекты вместе можно так же просто, как искать название, или более сложно, просматривая детали счетов компании, адреса головного офиса, имена генерального директора, веб-адреса и другие метаданные, чтобы найти ассоциации по всему миру.

Такого рода гипотезы — это бизнес-задачи, которые может решить сильная стратегия данных. Однако можем ли мы перейти к тому, чтобы автоматизировать это обучение и со временем улучшить качество наших данных с меньшими ручными усилиями, предоставив нашим специалистам по данным больше времени для анализа и поддержки бизнеса?

Это задача ML — взять базовые правила качества данных, внедрить их, а затем предложить улучшения по мере того, как реальные изменения в данных становятся видимыми как исключения или выбросы. Это новая тема, и мы ожидаем, что в ближайшие годы она получит большое развитие.

Ваша стратегия обработки данных

По сути, каждый пример машинного обучения зависит от данных, которые соответствуют назначению, а если нет, то этим данным и, как следствие, решениям, которые принимаются на их основе, нельзя доверять.

Чтобы избежать этого, организациям необходимо убедиться, что у них есть надежная стратегия работы с данными. Подумайте о причинах начала ML; Каких объяснимых результатов они хотят достичь и избежать?

Затем, проведя первоначальную оценку ваших данных, чтобы проверить качество того, что у них уже есть, организация может принять меры и спланировать, что еще им нужно, чтобы улучшить общее качество своих данных.

Возможность идентифицировать и отслеживать решения, принятые с помощью машинного обучения, и все автоматизированные процессы принятия решений жизненно важны для их успешного принятия и внедрения.

Постоянный мониторинг качества данных также имеет решающее значение. Сделав это, вы сможете быстро определить, какие области требуют внимания, и будете уверены, что находитесь в наилучшем положении с текущими и потенциальными инициативами ML.

Тогда организации смогут использовать ML, чтобы они могли более эффективно управлять качеством своих данных, ускоряя и улучшая процессы принятия решений.

Доведя это до логического завершения, использование машинного обучения может помочь нам выявить те проблемы с данными, которые остаются скрытыми до тех пор, пока они не станут реальной проблемой. Если мы сможем обучить модели идентифицировать ключевые атрибуты, которые могут повлиять на решение или дальнейший процесс, а затем отслеживать колебания или связанные с ними закономерности, мы даже сможем предсказать влияние этих проблем с данными на ваш бизнес.

Например, если мы знаем, что количество спален в собственности напрямую влияет на решения в нашем бизнесе, и мы установим, что у нас есть неполные или приблизительные данные в этой области до определенного масштаба, который ухудшается, можем ли мы предсказать, основываясь на том, где мы знаем, что данные используются, оценки доходов от аренды, оценки ипотечных кредитов или прогнозы потребления тепла?

Воздействие этой растущей озабоченности по поводу качества данных может помочь создать бизнес-обоснование для исправления проблемы сейчас, а не тогда, когда это станет реальной проблемой.