Потоковая передача данных открывает новые возможности в эпоху Интернета вещей

Келли Херрелл из Hazelcast

В доцифровую эпоху ИТ-отделы освоили множество технологических подходов к извлечению ценности из данных. Хранилища данных, аналитические платформы и различные типы баз данных заполнили центры обработки данных, получая доступ к устройствам хранения, где записи надежно сохранялись на диске для их исторической ценности.

Напротив, говорит Келли Херрелл, генеральный директор Hazelcast . Сегодня данные генерируются и передаются в потоковом режиме устройствами Интернета вещей (IoT) с беспрецедентной скоростью. «Вещи» в IoT бесчисленны - датчики, мобильные приложения, подключенные автомобили и т. Д. - что само по себе является взрывоопасным. Добавьте к этому «сетевой эффект», когда степень ценности напрямую зависит от количества подключенных пользователей, и нетрудно понять, почему такие фирмы, как IDC Согласно прогнозам, рынок Интернета вещей достигнет в следующем году 745 миллиардов долларов США (665 миллиардов евро) и превысит отметку в 1 триллион долларов (0,89 триллиона евро) в 2022 году.

Эта мегатенденция подрывает парадигму обработки данных. Историческое значение сохраненных данных заменяется временным значением потоковых данных. В парадигме потоковой передачи данных значение является прямой функцией непосредственности по двум причинам:

• Разница :Точно так же, как уникальные молекулы воды, проходящие по длине шланга, различны в каждый момент времени, уникальные данные, передаваемые по сети для каждого временного окна, различны.
• Скоропортимость :Возможность действовать на основе информации, полученной при потоковой передаче данных, часто исчезает вскоре после создания данных.

Понятия разницы и скоропортящийся применимы к этой парадигме потоковой передачи данных. Внезапные изменения, обнаруживаемые в потоках данных, требуют немедленных действий, будь то обнаружение закономерностей при распознавании лиц в режиме реального времени или датчики вибрации буровой установки, внезапно регистрирующие отклонения, которые могут иметь катастрофические последствия, если не будут немедленно предприняты превентивные меры.

В сегодняшнюю временную эпоху Интернет вещей и потоковая передача данных ускоряют темпы изменения этой новой парадигмы данных. Сама потоковая обработка быстро меняется.

Два поколения, одинаковые проблемы

Первое поколение потоковой обработки было основано в основном на пакетной обработке с использованием сложных архитектур на основе Hadoop. После того, как данные были загружены - а это было значительно после того, как они были сгенерированы - они были проданы в виде потока через механизм обработки данных. Сочетание сложности и задержки сделало этот метод в значительной степени недостаточным.

Второе поколение (которое все еще широко используется) сократило размеры партий до «микропартий». Сложность внедрения не изменилась, и хотя небольшие партии занимают меньше времени, все еще есть задержка с настройкой партии. Второе поколение может идентифицировать разницу но не решает проблему скоропортящейся продукции . К тому времени, когда он обнаруживает изменение в потоке, это уже история.

Обработка потока третьего поколения

Первые два поколения подчеркивают препятствия, с которыми сталкиваются ИТ-организации:как можно упростить реализацию потоковой обработки при обработке данных в момент их создания? Ответ:программное обеспечение должно быть упрощено, не ориентировано на пакетную обработку и должно быть достаточно маленьким, чтобы его можно было размещать очень близко к источникам потока.

Первые два поколения потоковой обработки требуют установки и интеграции нескольких компонентов, что приводит к слишком большой занимаемой площади для большинства периферийных инфраструктур и инфраструктур Интернета вещей. Небольшой размер позволяет устанавливать движок потоковой передачи рядом с источником данных или встраивать в него. Непосредственная близость устраняет необходимость прохождения потока Интернета вещей по сети для обработки, что приводит к сокращению задержки и помогает решить проблему скоропортимости.

Задача ИТ-организаций состоит в том, чтобы получать и обрабатывать источники потоковых данных в режиме реального времени, преобразовывая данные в полезную информацию сейчас . Задержки в пакетной обработке уменьшают ценность потоковых данных. Обработка потоков третьего поколения позволяет преодолеть проблемы с задержкой, присущие пакетной обработке, за счет немедленной работы с оперативными необработанными данными в любом масштабе.

Практика потоковой передачи

Буровая установка - один из самых узнаваемых символов энергетики. Однако эксплуатационные расходы на буровую установку невероятно высоки, и любое время простоя в процессе может существенно повлиять на чистую прибыль оператора. Превентивные идеи открывают новые возможности для значительного уменьшения этих потерь.

SigmaStream , который специализируется на высокочастотных потоках данных, генерируемых в процессе бурения, является хорошим примером потоковой обработки, реализуемой в полевых условиях. Установки заказчиков SigmaStream оснащены большим количеством датчиков для обнаружения мельчайших вибраций в процессе бурения. Данные, генерируемые этими датчиками, могут достигать 60–70 каналов высокочастотных данных, поступающих в систему обработки потока.

Обрабатывая информацию в реальном времени, SigmaStream позволяет операторам выполнять эти потоки данных и немедленно воздействовать на данные, чтобы предотвратить сбои и задержки. Механизм потоковой передачи третьего поколения в сочетании с необходимыми инструментами для обработки и анализа данных позволяет операторам отслеживать практически незаметные вибрации с помощью потоковой аналитики данных буровой установки. Внеся точные настройки, клиенты SigmaStream сэкономили миллионы долларов и сократили время пребывания на месте на целых 20%.

В сегодняшнюю цифровую эпоху задержки - это новое время простоя. Потоковая обработка - это следующий логический шаг для организаций, которые хотят быстрее обрабатывать информацию, активнее выполнять действия и задействовать новые данные с той скоростью, с которой они поступают. Внедряя потоковую обработку в основные приложения, организации могут процветать в мире, где доминируют новые виды сверхвысокопроизводительных приложений, и предоставлять информацию, чувствительную ко времени, чтобы соответствовать растущим ожиданиям.

Автор - Келли Херрелл, генеральный директор Hazelcast