Потоковая обработка 3-го поколения: превращение IoT-данных в реальное-времени действие

Келли Херрелл из Hazelcast

В пред-цифровую эру IT-команды использовали ряд инструментов управления данными — data warehouses, аналитические платформы и различные системы БД — для захвата и сохранения информации для будущего анализа.

Сегодня данные генерируются и стримятся IoT-устройствами беспрецедентными темпами. «Things» в IoT — сенсоры, мобильные приложения, коннектед-автомобили — создают взрывной объем информации. Добавьте network effect, где ценность скалируется с числом коннектед-пользователей, и ясно, почему IDC проецирует IoT-рынок в $745 млрд (€665 млрд) в следующем году и превышение $1 трлн (€0,89 трлн) к 2022.

В этом мегатренде традиционный акцент на исторических данных уступает место временной ценности стриминговых данных. В стриминговой парадигме ценность напрямую привязана к немедленности по двум причинам:

• Различие (Difference): Как молекулы воды, проходящие через шланг, каждый снимок данных, текущего через сеть, уникален.
• Испортимость (Perishability): Возможность действовать на инсайтах часто испаряется вскоре после генерации данных.

Эти концепции означают, что внезапные изменения, детектированные в стримах, требуют мгновенного действия — будь то real-time facial-recognition алерт или сенсор буровой установки, детектирующий аномальные вибрации, которые могут привести к катастрофическому сбою, если не адресованы немедленно.

В сегодняшнем быстром мире IoT и стриминговые данные ускоряют темп изменений, перестраивая то, как мы обрабатываем информацию. Сама стриминговая обработка эволюционирует быстро.

Два поколения, одни проблемы

Первое поколение стриминговой обработки сильно опиралось на batch processing в сложных Hadoop-базированных архитектурах. Данные собирались, хранились, и только после задержки стримились в processing engine. Комбинация сложности и латентности делала этот подход largely inadequate.

Второе поколение ввело micro-batches, сжимая батч-сайзы для редукции времени обработки. Однако базовая сложность оставалась, и задержка в настройке каждого micro-batch все еще означала, что изменения идентифицировались только после того, как они стали историческими.

Потоковая обработка 3-го поколения

Вызов для IT-организаций ясен: как можно ингестировать и обрабатывать стриминговые данные в реальном времени, превращая сырой дату в действенный инсайт «now» без оверхеда batch-ориентированных систем? Ответ лежит в софте, который lightweight, не batch-centric и достаточно мал, чтобы запускаться близко к — или даже встроенным в — источник данных.

Первого- и второго-поколения движки требуют множественных компонентов, результируя в фуутпринте слишком большом для большинства edge и IoT сред. Lightweight движок может быть деплоен прямо у источника, устраняя нужду слать весь стрим через сеть для обработки. Эта близость драматически снижает латентность и адресует perishability челлендж.

Потоковая обработка 3-го поколения может хендлить live, raw дату at scale, доставляя инсайты instantly и энеблинг действия, капитализирующие на мигающей ценности real-time информации.

Стриминг на практике

Буровая установка — квинтэссенциальный символ энергетического сектора, однако ее операционные затраты высоки и любой downtime может severely импактнуть bottom line. Превентивные инсайты могут драматически снизить потери.

SigmaStream специализируется на high-frequency дата-стримах, генерируемых во время бурения. Их риги оборудованы десятками сенсоров, захватывающих минутные вибрации. Объем может достигать 60–70 high-frequency каналов, входящих в stream-processing систему.

Обрабатывая эти данные в реальном времени, SigmaStream энейбляет операторов действовать instantly — корректируя параметры бурения on the fly — для предотвращения сбоев и downtime. В паре с 3-го поколения стриминговым движком и правильными аналитическими инструментами, операторы могут мониторить почти неперцептибильные вибрации. Результат: клиенты сэкономили миллионы долларов и сократили on-site время до 20%.

В цифровую эпоху латентность — новый downtime. Стриминговая обработка — логический следующий шаг для организаций, нуждающихся ингестировать информацию быстрее, энеблить быстрые действия и встречать растущий спрос на real-time дату. Mainstreaming стриминговой обработки, энтерпрайзы могут thrive в мире, доминнирующем ultra-high-performance приложениями и доставлять time-sensitive информацию, встречающую растущие ожидания.

Автор: Келли Херрелл, CEO Hazelcast