Инструмент Ascend Previews для упрощения управления конвейером данных

Потоки данных с возможностью запроса значительно сократят большую часть ручных накладных расходов, связанных сегодня с управлением DataOps.

Одна из вещей, которая в наибольшей степени способствует тому, чтобы сделать ИТ менее гибкими, чем кто-либо хочет или ценит, — это все время и усилия, затрачиваемые на ручное построение конвейеров данных. Сложность заключается не только в том, чтобы сконструировать эти конвейеры, но и в том, что на понимание того, как они работают и как они были реализованы, могут уйти дни и недели.

Чтобы упростить изменение существующих конвейеров данных, Ascendis теперь предоставляет техническую предварительную версию инструмента, который позволяет ИТ-командам запускать запросы непосредственно к конвейерам данных, созданным с использованием недавно запущенной компанией Autonomous Dataflow Service, что упрощает создание конвейеров с использованием декларативных инструментов для экземпляров среда вычислений в памяти Apache Spark, размещенная в общедоступных облаках, предоставляемая Amazon Web Services (AWS), Microsoft или Google.

См. также: DataOps:противоядие от перегруженных конвейеров данных

По словам генерального директора Ascend Шона Кнаппа, эта новая возможность, получившая название Queryable Dataflows, значительно сократит ручные накладные расходы, которые сегодня связаны с управлением DataOps.

Потоки данных с возможностью запроса позволяют командам DataOps исследовать и профилировать большие необработанные наборы данных постепенно по мере их создания. Эта возможность не только упрощает и ускоряет создание новых конвейеров, ее также можно использовать для обеспечения точности результатов перед предоставлением данных нижестоящим приложениям.

Конвейеры теперь могут обрабатывать промежуточные этапы и исследования таким образом, чтобы выгрузить эти действия из хранилища данных. Кроме того, интерактивные запросы могут быть немедленно переведены в рабочую среду как этапы службы AutonomousDataflow, чтобы исключить перекодирование и повторную обработку.

Потоки данных с возможностью запроса также помогают оптимизировать операционную аналитику и отчетность. Аналитики данных и ученые также могут напрямую подключаться к этапам конвейера без предварительной загрузки данных в хранилище, что означает, что они могут использовать предпочитаемые ими инструменты для доступа к данным.

По словам Кнаппа, инструменты предыдущих поколений для управления конвейером данных — это не более чем прославленные планировщики заданий.

DataOps как ИТ-дисциплина находится под повышенным давлением, поскольку скорость изменений, происходящих в ИТ-средах, увеличилась. Отчасти благодаря развитию процессов DevOps и микросервисов скорость, с которой конвейеры данных должны быть оптимизированы или обновлены, экспоненциально увеличилась. По словам Кнаппа, ручное обновление конвейеров данных создаст некоторые очень предсказуемые точки трения между DataOps и DevOps.

«Необходимо гармонизировать DataOps и DevOps, — говорит Кнапп.

На самом деле именно это отсутствие гармонии приводит к тому, что разработчики часто пытаются остановить внутреннюю ИТ-команду, используя базу данных с открытым исходным кодом для создания приложения, но со временем обнаруживают, что база данных не масштабируется для удовлетворения требований приложения. Затем им приходится повторно взаимодействовать с внутренними ИТ-командами, чтобы перенести это приложение на такую ​​платформу, как ApacheSpark или другую базу данных.

Неясно, в какой степени DataOps и DevOps могут когда-нибудь сойтись. На данный момент обе области, скорее всего, останутся сами по себе. Однако также совершенно очевидно, что процессы DataOps должны быть улучшены до такой степени, что построение конвейеров данных больше не будет основным узким местом, сдерживающим модернизацию ИТ.