Чистые данные — фундамент успеха Big Data

Big Data — это святой грааль аналитики сегодня. С его помощью организации получают предиктивную аналитику и аналитику поведения пользователей, обнаруживают паттерны, тренды и ассоциации, которые раньше было невозможно собрать. Big Data ведет к лучшему принятию решений, что улучшает операционную эффективность, снижает риски и экономит затраты. Но достичь Big Data сложно. Перед тем как организации получат выгоды от Big Data, должна быть проделана большая работа. Прежде чем получить Big Data, нужны чистые данные.

Проблемы вроде дублирующихся данных, неверных чисел, отсутствующих символов, пропущенных полей данных, данных об активах, больше не используемых, и множественных номеров для одного актива портят данные, делая их неконсистентными и неточными. Очистка данных, сверка и Master Data Management (MDM) критически важны для достижения чистых данных, но могут восприниматься как трудоемкие и дорогие начинания с малыми краткосрочными результатами.

Пересмотрите свои данные

Как организациям начать сбор и очистку данных на пути к Big Data? В статье о чистых данных Патрик Грей, ведущий технологический эксперт и консультант, советует: «Начните с проблем, которые вы ожидаете решить с помощью Big Data, выгод от быстрых ответов и уточнений, характерных для Big Data, а затем сравните затраты на многократную очистку с затратами на то, чтобы сделать это правильно с первого раза».

Как предлагает Грей, первый шаг — определить, какие данные у вас есть и какие нужны для целей Big Data. Это включает MDM-активности: сверку данных или полный аудит инвентаря. Обычно это подразумевает изучение текущих записей в базе данных и подтверждение корректности информации в устаревшей базе.

Это может быть длительным процессом, но в итоге он принесет выгоду. Но не пытайтесь проглотить более, чем можете пережевать. Грей утверждает: «некоторые ранние, небольшие успехи гораздо лучше, чем застрять в кустах, пытаясь решить все проблемы данных сразу и никогда не доставляя никакой ценности».

Поддержание чистоты данных

Как только ваши устаревшие данные чисты, как гарантировать, что они останутся такими, и что новые данные будут чистыми вперед? Опять же, это возвращается к пониманию ваших общих целей для аналитики Big Data.

Упростите данные

Убедитесь, что собираемые данные нужны для анализа, и вы не захватываете нерелевантные данные на основе прошлых практик. Это может означать упрощение собираемых данных, например удаление ненужных полей. Больше — не всегда лучше. Добавление полей и функций в ПО может снизить скорость анализа, которого вы стремитесь достичь.

Разработайте политики сбора данных

От того, какие данные собирать, до правильного метода сбора — консистентность ключева для качества данных. Согласуйте MDM-поля данных, наиболее важные для вашего анализа. Это включает номера деталей, модели, серийные номера и т.д. Затем используйте консистентные инструменты или методы для сбора этих данных. Системы автоматического сбора данных, такие как штрих-кодовые этикетки и сканеры, — самые надежные методы захвата данных. Они оставляют мало места для ошибок, как при ручном сборе, где легко пропустить поля или перепутать цифры.

Выявляйте ошибки

Пересмотр данных позволяет выявить распространенные ошибки или локализовать зоны, где они обычно возникают. Исследуйте и исправляйте все ошибки данных до их ввода в систему и разработайте свои политики и лучшие практики, чтобы ошибки не повторялись.

Пока многие организации обходились с грязными, неполными или некорректными данными в прошлом, стремление к Big Data подчеркивает предпосылку чистых данных. Если ваша организация переходит к потребности в мгновенном анализе данных, чистые данные — фундаментальный первый шаг. Для помощи в получении или поддержании чистых данных обратитесь к Camcode.