Пересечение потоков данных: от Охотников за привидениями к продвинутой аналитике

Использование потоков данных — объединение как пакетных, так и событий реального времени — дает возможность ученым по данным и аналитикам решать сложные проблемы.

Индивидуальные потоки предоставляют данные, связанные с определенным измерением — ценой акции, заказом клиента, метрикой устройства. Аналитика и приложения могут обслуживаться одним потоком данных, но варианты использования узки и локальны.

Пересечение потоков открывает более грандиозные возможности, наполненные историей, контекстом и связанными сигналами. Когда наши герои-Охотники за привидениями (Венкман и команда) должны были подняться к вызову (и победить мистера Стей-Пуфта), они объединили силы — и потоки! Целье было больше, чем сумма частей.

В нашем сообществе ученые по данным, аналитики и разработчики аналогично призываются к действию. Использование потоков данных — объединение как пакетных, так и событий реального времени — дает вам возможность решать сложные проблемы. И, как с Венкманом, иногда вам нужны другие, чтобы принести свое оборудование и помочь. Вот четыре жизненно важных компонента для успешного пересечения потоков:

1) Объедините данные, варианты использования и людей.

Ускорение инноваций, максимизация эффективности и обеспечение гибкости — установленные приоритеты для сложных данных систем. Гибкий, эволюционирующий программный каркас реализует эти цели. Компоненты с открытым исходным кодом обеспечивают долгосрочную гибкость и взаимодействие, первостепенные для успеха.

Инструменты эволюционируют, и иногда вам нужно использовать новую ловушку для привидений.

2) Обеспечьте будущее вашего данных стека с открытыми форматами.

Портативность данных долгое время была священным требованием для корпоративных команд данных. Замкнутые сады создают будущий долг, а привязка к вендору имеет невысказанную долгосрочную стоимость, часто оплачиваемую в виде тормозов для бизнеса. Храните данные, используя открытые форматы.

CSV и JSON были большими годами, с Avro, Protobufs, Parquet, ORC и другими, недавно набравшими популярность. У них есть соответствующие причины существовать, но каждый основан на принципе доставки структурированных данных множеству независимых систем, агностичных и неведомых для компьютерных наук вниз по потоку.

По мере того как объем данных масштабировался и связанные финансовые и задержки стоимости перемещения данных накапливались, концепция открытых данных теперь включает форматы в памяти, а не только те, что сохраняются на диске. Теперь часто неприемлемо требовать, чтобы данные копировались, перемещались, сериализовывались или переводились каким-либо образом. В частности, значительное сообщество Apache Arrow выигрывает от своей способности обслуживать данные в памяти для ряда библиотек обработки данных на многих языках с минимальными накладными расходами, чтением без копирования и быстрым доступом в масштабе.

Но давайте вспомним, в Охотниках за привидениями данные были лишь началом приключения.

3) Сделайте объединение реального времени и статических данных фундаментальным требованием.

Современный движок данных должен объединять данные из множества источников. Жаргон хранилища, озера и нтавроподобного lakehouse теперь стали обычной obrazностью. Однако растущая популярность событийных потоков — это не так тихий канарейка, намекающая, что статические данные больше не вся история.

Данные меняются. Современные рабочие нагрузки живут в состоянии потока. Данные реального времени имеют значение.

Движки данных и библиотеки обработки должны быть спроектированы для адресации и плавного перемещения между рабочими нагрузками реального времени и статическими данными. «Непрерывная интеллектуальность» — модная фраза для систем, объединяющих контекст истории с сигналами событий момента. Современные данные системы должны быть построены для обработки данных реального времени, событийных потоков и других обновлений как первоклассной компетенции. Это должны быть основные силы, не дополнения, не вторые мысли.

В конце концов, как мы узнали в Охотниках за привидениями, Хранители врат и Ключники гораздо менее мощны, пока они не объединены вместе.

4) Всегда ставьте пользователя на первое место.

Сегодняшние пользователи данных имеют разнообразные навыки, инструменты, рабочие процессы и приоритеты. Объединение команды вокруг общей платформы служит индивидууму, одновременно энергизируя команду. Данные системы, максимизирующие эффективность отдельных лиц и способствующие сотрудничеству, движут бизнес-ценность.

Программное обеспечение с открытыми данными освещает путь. Интригующая смесь сотрудничества и конкуренции в открытых проектах дает невиданный темп прогресса и изобретательности. Организованные для поощрения взаимодействия, разработка сообщества обещает улучшения, интеграции и обновления пользовательского опыта. Популярные пути становятся асфальтированными дорогами. Такие системы делают пользователей армией из одного, поддерживая кодпендентный рабочий продукт, необходимый для любого даже умеренно сложного варианта использования.

В конце концов, один протонный пак мощен, но четыре, работающие вместе, непобедимы.

Я не боюсь ни одного привидения.