Как заставить данные IoT работать на ваш бизнес

Адам Майер из Qlik

Было время, когда невозможно было избежать дискуссии вокруг Интернета вещей (IoE), который сам по себе был символом пути, который мы неизбежно продвинем с Интернетом вещей (IoT).

«Наша немедленная реакция на открытие новых технологий - все больше, больше, больше», - говорит Адам Майер, старший менеджер Qlik . не обязательно гарантируя, что мы максимально эффективно используем то, что у нас уже есть. Следовательно, организации поощрялись устанавливать датчики на каждый свет, дверь и туалет, прежде чем они начнут получать прибыль от инвестиций.

Похожий путь прошли многие ранние последователи больших данных; потребовалось время, чтобы понять, что наличие большего количества данных не обязательно приведет к улучшению результатов без более эффективных способов их визуализации и анализа. Постепенно организации начинают осознавать, что наибольший потенциал Интернета вещей заключается в том, как данные, производимые этими устройствами, могут быть исследованы и исследованы для получения знаний и улучшения результатов.

Примером этого является проект Breathe London, который наш партнер C40 Cities реализует совместно с властями Большого Лондона. В рамках расследования подверженности лондонцев загрязнению воздуха сеть из 100 сенсорных блоков была установлена ​​на фонарных столбах и зданиях по всему городу, а автомобили Google Street View использовали мобильные датчики для непрерывной передачи измерений качества воздуха по всему Лондону.

Хотя информация, несомненно, интересна, ценность проекта заключается не в сборе и представлении данных, а в политических решениях, которые будут приняты для уменьшения «горячих точек» загрязнения, которые будут определять эти датчики.

Препятствия на пути анализа данных Интернета вещей

Однако для многих организаций это легче сказать, чем сделать. Есть серьезные проблемы, связанные с интеграцией данных Интернета вещей для анализа.

Во-первых, организациям необходимо преодолеть интеграцию множества данных из разных источников в свой конвейер данных. Исследование Qlik с IDC выявили, что интеграция разрозненных данных в стандартные форматы является одной из самых серьезных проблем, с которыми сталкиваются организации при преобразовании данных в аналитическую форму (37%).

Внедрение Интернета вещей значительно усугубляет эту проблему, поскольку позволяет быстро увеличить количество источников данных, поступающих в конвейер, часто в незнакомых или неструктурированных форматах, которые необходимо преобразовать перед подготовкой к анализу.

Проблема усугубляется второй проблемой - большими объемами и высокой скоростью обработки. Поскольку многие устройства IoT непрерывно снимают показания, данные производятся в гораздо больших объемах, чем большинство других. Затем, естественно, возникает последнее препятствие:даже если конвейер данных достаточно надежен для приема и преобразования непрерывного потока данных с устройств IoT, многие решения для визуализации и аналитики не могут предоставлять обновления информации в реальном времени.

Это означает, что независимо от того, связано ли узкое место с программным обеспечением или вызвано промежутком времени между просмотром пользователем его результатов, выводы из данных могут быть реализованы только ретроспективно, а не в режиме реального времени.

Идти в ногу со временем

Организации, надеющиеся воспользоваться преимуществами Интернета вещей, могут преодолеть эти проблемы, построив цепочку поставок данных, которая может быстро интегрировать и преобразовывать данные из множества различных источников.

Традиционные методы пакетной обработки, такие как извлечение, преобразование и загрузка (ETL), слишком медленны, неэффективны и разрушительны для интеграции и поддержки своевременного анализа данных IoT и часто требуют сложного кодирования и глубокого написания сценариев. Поскольку 31% глобальных организаций называют «нехватку квалифицированных ресурсов для обработки данных» одной из самых серьезных проблем при подготовке аналитики данных, для успеха внедрения Интернета вещей крайне важно, чтобы организации сокращали значительную утечку времени квалифицированных программистов.

Технология отслеживания измененных данных (CDC) представляет собой разумную альтернативу для тех, кто хочет быстро обрабатывать свои данные Интернета вещей для анализа. Вместо загрузки данных в разные источники CDC обеспечивает непрерывную инкрементную репликацию, идентифицируя и копируя обновления данных по мере их появления. Такая потоковая передача данных значительно увеличивает скорость приема и передачи данных в хранилища данных или озера данных для анализа.

Наконец, когда конвейер данных может интегрировать данные в режиме, близком к реальному времени, важно, чтобы аналитические решения не только могли непрерывно визуализировать актуальную информацию, но и чтобы был встроенный уровень проактивности для поддержки принятия решений. процесс. Оповещения в режиме реального времени не только предоставляют аналитическую информацию, но и могут рекомендовать действия, которые пользователи могут быстро запустить. Использование когнитивных механизмов для обеспечения этого активного интеллекта станет ключевой особенностью инструментов бизнес-аналитики следующего поколения.

Конвейер данных для реализации обещаний Интернета вещей

Организации должны убедиться, что они не попадут в ту же ловушку с IoT, как многие из них на заре больших данных, когда цель получения большего количества данных имела приоритет перед использованием того, что у них было, для достижения наилучших результатов. Если посмотреть на первых пользователей Интернета вещей, то слишком многие из них больше сосредоточены на получении обновлений в реальном времени, чем на принятии необходимых мер по преобразованию и анализу его результатов, чтобы дать возможность принимать более эффективные решения.

Обещание Интернета вещей - это возможность постоянно учиться, действовать и реагировать. Чтобы обеспечить скорость и гибкость внедрения Интернета вещей в организациях для поддержки расширенной аналитики, они должны сначала убедиться, что весь их конвейер данных соответствует задаче

Автор - Адам Майер, старший менеджер Qlik.