Data Lakes vs Data Warehouses: построение современной Data Estate

27 июля 2021 г.

Источник: MCA Connect | Manufacturing Tomorrow

Данные прилетают быстро и во многих формах. Эти разные формы могут включать structured, semi-structured, unstructured данные, и многие не понимают, что data warehouse и data lake обрабатывают данные по-разному.

Современная data estate должна предоставлять множественные методы ingestion и хранения различных данных, которые генерирует бизнес. Данные прилетают быстро и во многих формах. Эти формы включают structured, semi-structured, unstructured данные, и многие не знают, что data warehouse и data lake обрабатывают их по-разному. Посмотрим детальнее на эти типы данных:

1. Structured — традиционные базы данных: транзакционная БД для ERP или CRM с формальными определениями колонок и таблиц
2. Semi-Structured — файлы XML или JSON, self-describing с тегами для элементов и иерархий
3. Unstructured — изображения, видео, аудио, и другие бинарные данные

Традиционные data warehouse дизайны существуют десятилетиями, пока концепция или термин data lake — относительно новый конструктор. У каждого есть место в data estate организации.

Data Warehouse

Как видно выше, источники данных очень разнообразны и имеют разные представления, ведущие к divergent информации. Кроме того, большое разнообразие схем и структур в источниках затрудняет получение консолидированной информации когда нужен полный снэпшот данных от всех бизнес-подсистем. В общем, это главная причина появления Data Warehouse решений.

Data warehouse — формальный дизайн, часто основанный на design guidelines, реализующий формальный ETL (Extract-Transform-Load) процесс для потребления raw structured data sets и загрузки их в модель, спроектированную для отчетности. Data warehouses строятся на реляционных БД вроде Azure Synapse (ранее Microsoft SQL Server). Azure Synapse спроектирован для хранения structured данных в таблицах с традиционными рядами и колонками, но имеет capability хранить semi-structured данные вроде XML и JSON.

Data Lake

Data lake переворачивает концепцию ETL и реализует ELT (Extract-Load-Transform) процесс. Ingesting данных в data lake — по сути бросание всего, что может быть ценным в какой-то момент, в большое хранилище независимо от типа или структуры данных. Data lakes могут хранить structured, semi-structured, unstructured данные. Data lakes в Microsoft Azure строятся на storage accounts с Data Lake Storage Gen2 enabled при создании storage account.

Мысль за data lake: вы хотите потреблять все данные и разбирать их позже, пока data warehouse требует идентификации ценности upfront с значительными инвестициями в разработку ingestion. Из-за тяжелых upfront инвестиций, типичных для data warehouse, если позже выяснится, что нужны данные, не внесенные изначально — риск, что source data больше недоступны и потенциально потеряны навсегда.

Назначение: undetermined vs in-use

Назначение отдельных кусков данных в data lake не зафиксировано. Raw данные текут в data lake, иногда с конкретным будущим использованием в уме, иногда просто чтобы иметь под рукой. Это значит, data lakes имеют меньше организации и меньше фильтрации данных чем counterpart.

Processed data — raw данные, поставленные на конкретное использование. Поскольку data warehouses хранят только processed данные, все данные в data warehouse использовались для конкретной цели в организации. Это значит, storage space не тратится на данные, которые могут никогда не быть использованы.

Доступность

Доступность и ease of use относятся к использованию data repository в целом, не данных внутри. Data lake архитектура не имеет структуры и поэтому легко доступна и легко изменяема. Плюс любые изменения к данным можно сделать быстро, так как data lakes имеют очень мало ограничений.

Data warehouses по дизайну более структурированы. Один major benefit data warehouse архитектуры — processing и structure данных делают сами данные легче для deciphering, но limitations структуры делают data warehouses сложными и costly для манипуляций.

Выгоды обоих

Data lakes — cost-effective способ хранить большие объемы данных из множества источников. Позволение данных любой структуры снижает стоимость, потому что данные более гибкие и scalable — не нужно вписываться в специфический паттерн. Однако structured данные легче анализировать, потому что они чище и имеют uniform schema для query. Ограничивая данные схемой, data warehouses очень эффективны для анализа исторических данных для конкретных data decisions. И proper data warehouse, и data lake критичны для будущего успеха вашей организации и принадлежат в вашей modern data estate.

Что такое Data Estate?

Установка modern data estate — foundational шаг к digital transformation. Modern data estate дает timely insights и decision-making по всем вашим данным и устанавливает foundation для ИИ. Data estate — все данные, которыми владеет организация. Когда вы мигрируете эти данные в облако или модернизируете среду on-premises — получаете важные инсайты для fueling инноваций.

Microsoft Dynamics 365 Pre-Built Data Warehouse, DataCONNECT

Построение data warehouse может быть очень дорогим и time-consuming для proper review source systems, design data model, create necessary ETL. MCA Connect разработал DataCONNECT Data Warehouse решение для Microsoft Dynamics AX, Dynamics 365 Finance, Customer Engagement. Это решение сильно ускоряет timeline доставки comprehensive data warehouse решения снижая implementation costs. Также отличный способ начать строить comprehensive data estate.

DataCONNECT может топить организации быстрой, точной информацией, давая способность предсказывать, адаптироваться и формировать операции с точностью. Вы сможете быстро пулить validated данные в forecasting модели, чтобы начать planning циклы для областей бизнеса. Если хотите узнать больше о том, как DataCONNECT Data Warehouse или data lake могут помочь вашей компании хранить big data, свяжитесь с нами. Один из экспертов с радостью покажет правильное направление.

Контент и мнения в этой статье — автора и не обязательно представляют views Manufacturing Tomorrow.