Автоматизация качества данных для ускорения успеха ИИ и ML

Могут ли организации автоматизировать качество данных для улучшения ИИ и ML? За последнее десятилетие компании начали понимать и разблокировать потенциал, который искусственный интеллект (ИИ) и машинное обучение (ML) могут принести. Пока все еще в зачаточном состоянии, компании начинают понимать значительное влияние, которое эта технология может принести, помогая им принимать лучшие, быстрее и более эффективные решения.

Конечно, ИИ и ML не волшебная пуля для помощи бизнесам принять инновации. Фактически, успех этих алгоритмов только так хорош, как их фундаменты — конкретно, качественные данные.

Без этого бизнесы увидят, что самая цель, для которой они установили ИИ и ML, провалится, с непредвиденными последствиями плохих данных, наносящими необратимый ущерб бизнесу как в терминах его эффективности, так и репутации.

Но есть другая область исследования, которая зрела для развития; а именно, может ли качество данных быть улучшено и поддержано автоматизацией и машинным обучением самим собой?

Риск плохого качества данных

От сервисов стриминга фильмов, к чат-ботам, к помощи в информировании, как супермаркеты расставляют свои полки и руководят нас через крупные транспортные хабы, ML влияет на наши жизни способами, которые были непредставимы десятилетие назад.

Но что происходит, если алгоритм установлен работать на фундаменте плохого качества данных? Риски в будущем могут быть гораздо более серьезными, чем подача фильма, который вам не нравится.

Если мы начнем доверять машинному обучению для улучшения обнаружения и тестирования фармацевтики, например, что случится, если лекарство будет сформулировано, но были ошибки в химических данных соединений, использованных для симуляции тестирования? Последствия могут быть страшными.

Новоявленное применение ML, которое также может быть затронуто плохими базовыми данными — это самоуправляемые транспортные средства. От карт и адресов до того, как транспортное средство реагирует на велосипедиста, данные, используемые для обучения машины, будут критичны для принятия потребителями и регуляторами.

ML-алгоритмы — те наборы правил и расчетов, которые помогают решать определенные проблемы — могут либо поддерживать улучшение качества данных, либо быть сбитыми неточными данными, если возможность плохих данных не рассматривалась в их построении.

Автоматизированное качество данных

Как и с любой цифровой трансформацией, переход от ручного к автоматизированному и затем «интеллектуальному» управлению качеством данных потребует долгосрочного плана. Experian идентифицировал четыре стадии о прогрессии управления данными, которые мы называем Кривой зрелости управления данными. Неосведомленный, Реактивный, Проактивный и Оптимизированный & Управляемый отражают четыре стадии, охватывающие полный цикл стратегии качества данных.

Оценка раскрыла стабильное продвижение вверх по кривой зрелости, по мере того как организации начинают выпускать потенциал данных, которые они держат и относятся к ним более серьезно. Наиболее интригующе из всего, те, которые находятся на стадии Оптимизированный & Управляемый, могут видеть начала другого уровня, чего можно назвать «интеллектуально автоматизированным».

«Интеллектуально автоматизированный» относится к наличию систем и процессов на месте, чтобы помочь людям, отвечающим за качество данных, идентифицировать, где их крупнейшие проблемы. Мы все должны к этому моменту регулярно просматривать ключевые метрики производительности для идентификации трендов в качестве данных, возможно, глядя на общие коэффициенты завершения ключевых атрибутов или мониторя на любые проблемы с таймингом при получении данных или стадиях загрузки данных. Но истинное понимание качества данных требует от нас более глубокого взгляда в контент.

Например, достаточно ли сказать, что вы собрали дату рождения для выполнения требований третьих сторон по данным в 99% случаев, когда большая часть собранных дат являются системно-производными и поэтому не являются реальными датами рождения? Это может вызвать реальные проблемы и непреднамеренные последствия могут расходиться через ваш процесс принятия решений.

Следующие шаги

Большинство программ качества данных уже содержат элемент автоматизации и test-and-learn. Следующая стадия в этой эволюции — использование машинного обучения для автоматического распознавания и реагирования на разные типы данных — «интеллектуально автоматизированный».

Например, инструмент управления данными, который может распознать стандартную информацию такую как адрес, email, номер кредитной карты или номер национального страхования с малым пред-обучением или написанием правил перед действиями такими как валидация записи или флагирование проблемы соответствия менеджеру.

Конечная цель — ML для качества данных, который затем улучшает себя со временем. Хороший пример этого — название компании — является ли Tesco PLC тем же, что Tesco Stores Ltd? Как насчет части группы Tesco, которая не имеет слова «Tesco» в названии компании?

Группировка коммерческих сущностей вместе может быть такой же простой, как поиск имени, или более сложной, глядя на детали компаний-счетов, адресов головных офисов, имен CEO, веб-адресов и других метаданных для поиска ассоциаций по всему миру.

Эти виды гипотез — это бизнес-вызовы, которые сильная стратегия данных может поддержать. Однако можем ли мы перейти к месту, где мы можем автоматизировать это обучение и улучшать наше качество данных со временем с меньшим ручным усилием, давая нашим людям данных больше времени для анализа и поддержки бизнеса?

Это вызов для ML — взять базовые правила для качества данных, внедрить их и затем предлагать улучшения по мере того, как реальные изменения в данных становятся видимыми как исключения или выбросы. Это новоявленная тема и та, которую мы ожидаем увидеть большим развитием в следующие годы.

Ваша стратегия данных

Фундаментально, каждый пример ML зависит от данных, пригодных для цели — если не те данные, и как следствие, решения, которые сделаны из-за этого, не могут быть доверены.

Чтобы избежать этого, организации должны убедиться, что у них есть надежная стратегия данных. Подумайте о причинах для embarquement на ML; какие объяснимые результаты они хотят достичь и избежать?

Затем, проведя начальную оценку ваших данных для проверки качества того, что у них уже есть, организация может принять меры и спланировать то, что еще им нужно для улучшения общего качества их данных.

Способность идентифицировать и прослеживать решения, принятые через ML — и все автоматизированные процессы принятия решений — жизненно важна, если они должны быть приняты и внедрены успешно.

Непрерывный мониторинг качества данных также критичен. Делая это, вы сможете быстро идентифицировать, какие области нуждаются в внимании и быть уверенными, что вы в лучшей возможной позиции с текущими и потенциальными ML-инициативами.

Тогда организации будут в позиции для ML, чтобы позволить им управлять качеством своих данных более эффективно, делая их процессы принятия решений быстрее и лучше.

Приводя это к логическому заключению, использование машинного обучения может помочь нам идентифицировать те проблемы с данными, которые остаются скрытыми до тех пор, пока они не станут реальной проблемой. Если мы можем обучить модели идентифицировать ключевые атрибуты, которые могут влиять на решение или процесс вниз по линии, и затем мониторить на флуктуации или тревожные паттерны, мы можем даже предсказать влияние этих проблем с данными на ваш бизнес.

Например, если мы знаем, что количество спален в недвижимости напрямую влияет на решения в нашем бизнесе, и мы устанавливаем, что у нас неполные или приблизительные данные в этом поле в определенном масштабе, который ухудшается, могли бы мы предсказать, основанные на том, где мы знаем, что данные используются, оценки арендного дохода, ипотечные оценки или прогнозы потребления отопления?

Влияние этой растущей проблемы качества данных может помочь построить бизнес-кейс для исправления этого сейчас, а не когда это станет реальной проблемой.