Почему точные данные в реальном времени критичны для бизнес-успеха

Получение точных данных в реальном времени необходимо для бизнеса. Это требует идентификации паттернов используя метаданные, группировки этой информации через файлы метаданных и обеспечения точности метаданных через фреймворк управления метаданными.

Рассмотрите точность данных в реальном времени, характеристику качества данных, относящуюся к правильным значениям и форматам, must для прибыльного и растущего бизнеса. Компании нуждаются в точных данных реального времени для совладания с приливами в потребительском спросе. Треть C-сюита исполнителей и финансовых профессионалов согласны, что они ценят свои финансовые данные реального времени все больше и больше.

К сожалению, многие организации продолжают бороться за получение бизнес-инсайтов из своих данных реального времени. Компании собирают часы на часах стриминговых данных фидов, но могут нуждаться только в пары минут этого стрима для принятия хорошего решения.

Даже решение о том, как валидировать объемы накопленных данных вызывает вызовы в быстром выяснении, имеет ли один датасет больше точности, чем другой. Сделайте неправильный вызов и способствуйте бизнесу терять $14 миллионов.

К счастью, метаданные, данные о данных, обещают помощь в получении точности данных реального времени. Эта статья начнет читателя в путешествии используя метаданные для получения точности данных реального времени.

Использование метаданных для валидации точности данных реального времени

Может показаться контр-интуитивным говорить о генерации больше данных для помощи в сохранении существующих данных точными. Но метаданные имеют несколько суперсил:

• Если оно точно, метаданные предоставляют контекст об информации, которую они описывают, доказывая точность данных. Компьютерная программа может превратить эти метаданные в схему или представление.
• Определения метаданных содержат любую комбинацию технических, бизнес или операционных описаний датасетов. Так, системы, процессы или люди могут использовать метаданные для характеристики клиентов, покупок, продуктов, локаций, и т.д.
• Алгоритмы могут использовать технические метаданные для флага другого процесса или человека для принятия дальнейшего действия.
• Метаданные могут обернуться вокруг массивного куска данных, делая те данные более находимыми.

Два эксперта, رومеро и Калдерс, использовали эти силы метаданных с подходом, называемым информационным профилированием. Они предлагают фреймворк применяющий метаданные для формирования схемы для профилирования и затем обрамления результатов используя метаданные.

Взяв эти находки дальше, компании могут использовать свои бизнес-правила для руководства формированием метаданных схемы и группировки данных в пакеты, обернутые метаданными. Эти организации имели бы более эффективный способ иметь дело с данными реального времени, нанимая алгоритмы для поиска паттернов данных и извлечения датасетов, которые совпадают.

Исследование примера точности данных реального времени

Как бы использование метаданных для точности данных реального времени выглядело в реальной жизни? Гордон и Шанкаранаянан, из Бабсон Колледжа, предоставляют инсайт.

Скажем, что фид Компании А имеет сотни мгновенных сообщений приходящих каждый час. Клиент, Джон Доу, текстит, он хочет купить велосипед от компании А. Компания А хочет валидировать эти сообщения от Джона Доу и что он хочет купить велосипед.

Сначала приложение создало бы профиль Джона Доу, метаданные о Джоне Доу. Скажем, метаданные о Джон Доу имеют значения, основанные на номере телефона, типе мобильного телефона использованного и статусе членства с Компанией А. Это представление Джона Доу было бы хорошо как данные, содержащиеся в CRM системе Компании А.

Тогда компьютерная программа берет этот профиль Джона Доу и матчит его с текстом стримингом в фиде, с бизнес-правилами определяющими, что искать в стриме данных. Как только софт видит данные, матчинг схеме Доу, он свяжет его вместе под файлом контент-метаданных. Этот файл контент-метаданных был бы поисковым людьми, которые бы были уверены, что текстовые сообщения пришли от Джона Доу (если качество метаданных встречало бизнес-потребности).

Также алгоритм собрал бы профиль покупки для определения вероятности Джона Доу покупать велосипед, как Amazon выясняет, какие продукты рекомендовать для своих клиентов. Тогда алгоритм может применить этот профиль покупки и взвесить вероятность, что Джон хочет купить велосипед.

Сделать точность метаданных критичной

Обратите внимание, что использование метаданных для создания схемы и батча сильно зависит от точности метаданных. Иначе обеспечение точности данных реального времени было бы невозможным.

В примере выше, если Джон Доу сменил свой номер телефона и его метаданные все еще имели старый номер телефона, тогда метаданные Джона были бы неточными. Также файл метаданных с датасетами реального времени должен был бы быть правильно помечен. Если метаданные с текстовыми файлами Джона Доу имели неправильное имя клиента, человек не найдет текстовый файл Джона.

Так что те же причины и процессы, которые компании используют для мониторинга данных и очистки их, для последовательной доставки высокого качества данных, также применяются к метаданным. Метаданные, используемые в валидации реального времени, должны быть адекватно точными, чтобы иметь уверенность о точности данных реального времени.

Фреймворк управления метаданными

Было бы достаточно тогда автоматизировать мониторинг и очистку метаданных? Нет. Получение достаточно качества метаданных, чтобы быть ценным и доступным для бизнеса, зависит от фреймворка управления метаданными.

Люди организации, процессы и технологии составляют этот фреймворк управления метаданными и бизнес-правила, которые его создают.

Например, если один департамент стандартизирует свои имена клиентов в одной системе и другой департамент форматирует имена клиентов по-другому в отдельном приложении, у него дрожащий фреймворк управления метаданными. Какой департамент организация берет метаданные от для использования?

Развитие фреймворка управления метаданными для обеспечения адекватной точности данных реального времени требует:

• Оценки управления метаданными на то, какие структуры существуют и их влияние. От этой базовой линии компании могут выяснить, какие процессы менять.
• Стратегии данных, план для использования данных для поддержания бизнеса идущим и растущим.
• Управления данными, программа, координирующая доступ к метаданным и безопасность, для оставания compliant.
• Коллективной грамотности данных о важности и ценности метаданных в определении точности данных реального времени. Дополнительно, работникам нужно знать, как определять хорошие метаданные.
• Твердых бизнес-требований о том, какие атрибуты и значения определяют что или кто метаданные описывают.

Последние слова

В 2020 году компании увидели, почему им нужно качество данных реального времени, пока недоверчивы к получению бизнес-инсайтов из этих данных. Высокие объемы данных и скорости данных представляют бизнесу значительные препятствия для быстрого убеждения, что каждый кусок данных имеет точность в тексте или сообщении стриме.

Курирование данных реального времени используя схему метаданных и бизнес-правила получает больше ценности пока экономит ресурсы компании от анализа нерелевантных данных. Чанкинг результатов и этикетирование этих датасетов используя метаданные делает нахождение точных данных быстрее. Но использование метаданных этим способом требует точных метаданных и адекватной структуры управления метаданными, так что бизнес имеет доверие в своей точности данных реального времени.