Преодоление проблем ETL данных IoT для повышения ROI

Организации могут оптимизировать данные IoT, быстро и экономично извлекая их бизнес-ценность, развивая экспертизу в технологиях ETL (извлечение, трансформация, загрузка).

Потенциал IoT никогда не был больше. С инвестициями в IoT-устройства, ожидаемыми удвоиться к 2021 году и возможностями, взмывающими в сегментах данных и аналитики, главная задача — преодолеть вызовы и укротить затраты, окружающие IoT-проекты данных.

Организации могут оптимизировать данные IoT, быстро и экономично извлекая их бизнес-ценность, развивая экспертизу в технологиях ETL (извлечение, трансформация, загрузка), таких как потоковая обработка и озера данных.

См. также: 4 принципа обеспечения безупречного озера данных

Во многих организациях, однако, это может привести к ИТ-узким местам, долгим задержкам проектов и откладыванию науки о данных. Результат: IoT-проекты — в которых данные предиктивной аналитики предназначены играть критическую роль в улучшении операционной эффективности и стимулировании инноваций — все еще не перешли порог доказательства концепции и определенно не могут продемонстрировать ROI.

Понимание вызовов ETL, с которыми сталкивается IoT

Следующая диаграмма поможет вам лучше понять проблему:

Источник данных слева — бесчисленные устройства, заполненные датчиками, от простых антенн до сложных автономных транспортных средств, которые генерируют данные IoT и отправляют их как непрерывный поток полуструктурированных данных через веб.

Справа цели потребления этих данных должны достичь, с результирующими аналитическими продуктами в завершении проекта, включая:

• Бизнес-интеллект для получения видимости в трендах и паттернах использования продукта
• Операционный мониторинг для просмотра сбоев и неактивных устройств в реальном времени
• Обнаружение аномалий для получения проактивных оповещений о пиках или резких падениях в данных
• Встроенная аналитика для возможности клиентов видеть и понимать свои собственные данные использования
• Наука о данных для наслаждения выгодами передовых аналитик и машинного обучения в предиктивном обслуживании, оптимизации маршрутов или разработке ИИ

Для достижения этих целей, вам сначала нужно преобразовать данные из их сырого стримингового режима в аналитически-готовые таблицы, которые могут быть запрошены с SQL и другими аналитическими инструментами.

Процесс ETL часто является самым трудным для понимания сегментом любого аналитического проекта, потому что данные IoT содержат уникальный набор качеств, которые не всегда в синхронизации с обычными реляционными базами данных, ETL и BI инструментами. Например:

• Данные IoT — это стриминговые данные, непрерывно генерируемые в маленьких файлах, которые накапливаются, становясь массивными, разросшимися наборами данных. Они очень отличаются от традиционных табличных данных и требуют более сложного ETL для выполнения joins, агрегаций и обогащения данных.
• Данные IoT должны храниться сейчас, анализироваться позже. В отличие от типичных наборов данных, огромный объем данных, создаваемых IoT-устройствами, означает, что у них должно быть место сидеть перед тем, как их можно проанализировать — облачное или локальное озеро данных.
• Данные IoT представляют неупорядоченные события из-за множественных устройств, которые могут входить и выходить из зон интернет-соединения. Это означает, что логи могут достигать серверов в разное время и не всегда в «правильном» порядке.
• Данные IoT часто требуют низколатентного доступа. Операционно, вам может понадобиться идентифицировать аномалии или конкретные устройства в реальном или ближе к реальному времени, так что вы не можете позволить себе задержки, вызванные пакетной обработкой.

Стоит ли использовать фреймворки с открытым исходным кодом для создания озера данных?

Для построения корпоративной данных платформы для аналитики данных многие организации используют этот общий подход: создают озеро данных, используя фреймворки открытого стримингового процессинга как строительные блоки плюс временные базы данных, такие как Apache Spark/Hadoop, Apache Flink, InfluxDB и другие.

Может ли этот набор инструментов сделать работу? Конечно, но сделать это правильно может быть ошеломляющим для всех, кроме самых опытных в данных компаний. Построение такой данных платформы требует специализированных навыков инженеров больших данных и сильного внимания к инфраструктуре данных — обычно не сильной стороне в производстве и потребительской электронике, отраслях, тесно работающих с данными IoT. Ожидайте поздних поставок, крутых затрат и тонны потраченных инженерных часов.

Если ваша организация хочет высокую производительность плюс полный спектр функциональностей и вариантов использования — операционные отчеты, ad-hoc аналитика и подготовка данных для машинного обучения — тогда примите подходящее решение. Примером было бы использование платформы ETL озера данных, специально созданной для преобразования потоков в аналитически-готовые наборы данных.

Решение не так жесткое и сложное, как платформы данных Spark/Hadoop. Оно построено с самообслуживающим пользовательским интерфейсом и SQL, а не интенсивным кодированием в Java/Scala. Для аналитиков, ученых данных, менеджеров продуктов и провайдеров данных в DevOps и инженерии данных, это может быть действительно удобным инструментом, который:

• Предоставляет самообслуживание для потребителей данных без необходимости полагаться на ИТ и инженерию данных
• Оптимизирует ETL потоки и хранение больших данных для снижения инфраструктурных затрат
• Позволяет организациям, благодаря полностью управляемому сервису, фокусироваться на функциях, а не на инфраструктуре
• Устраняет необходимость поддерживать множество систем для данных в реальном времени, ad hoc аналитики и отчетности
• Гарантирует, что данные никогда не покидают учетную запись AWS клиента для полной безопасности

Вы можете получить выгоду от данных IoT — просто нужны правильные инструменты, чтобы сделать их полезными.