Ascend превью инструмента: оптимизация управления данными для быстрых, надежных инсайтов

Queryable Dataflows значительно снизят большую часть ручного накладного расхода сегодня, связанного с управлением DataOps.

Одной из вещей, которые больше всего консприруют, чтобы сделать IT гораздо менее гибким, чем кто-то хочет или ценит, является все время и усилия, идущие на ручное построение конвейеров данных. Не только это вызов построить эти конвейеры в первую очередь, но и расшифровка того, как они работают и были реализованы, может занять дни и недели.

Чтобы сделать проще модификацию существующих конвейеров данных, Ascend теперь предоставляет технический превью инструмента, позволяющего IT-командам запускать запросы напрямую против конвейеров данных, построенных с использованием недавно запущенного Autonomous Dataflow Service компании, который делает проще создание конвейеров с декларативными инструментами на экземплярах фреймворка в памяти Apache Spark, хостинге на публичных облаках, предоставляемых либо Amazon Web Services (AWS), Microsoft, или Google.

См. также: DataOps: Противоядие для заторенных конвейеров данных

Названный Queryable Dataflows, эта новая возможность значительно снизит большую часть ручного накладного расхода сегодня, связанного с управлением DataOps, говорит CEO Ascend Шон Напп.

Queryable Dataflows делают возможным для DataOps-команд исследовать и профилировать большие сырцые наборы данных инкрементально по мере их построения. Эта возможность не только делает проще строительство новых конвейеров быстрее, она также может быть использована для обеспечения точных результатов перед выставлением данных нисходящим приложениям.

Конвейеры теперь могут обрабатывать стажировку и исследование способом, который разгружает эти активности от хранилища данных. Кроме того, интерактивные запросы могут немедленно переходить в производство как этапы внутри Autonomous Dataflow Service для устранения перекодирования и переработки.

Queryable Dataflows также помогают оптимизировать операционную аналитику и отчетность. Аналитики данных и ученые также могут подключаться напрямую к этапам конвейера без необходимости сначала загружать данные в хранилище, что означает, что они могут использовать свои предпочтительные инструменты для доступа к данным.

Предыдущие поколения инструментов для управления инструментами конвейеров данных, по сравнению, немного больше, чем прославленные планировщики заданий, говорит Напп.

DataOps как IT-дисциплина находится под повышенным давлением, потому что темп изменений, происходящих внутри IT-сред, ускорился. Благодаря в части подъему процессов DevOps и микросервисов, темп, с которым конвейеры данных нужно оптимизировать или обновлять, экспоненциально увеличился. Ручное обновление конвейеров данных создаст некоторые очень предсказуемые точки трения между DataOps и DevOps, говорит Напп.

«DataOps и DevOps должны быть гармонизированы», — говорит Напп.

Фактически, этот недостаток гармонии ведет разработчиков к попыткам обойти внутреннюю IT-команду, используя базу данных с открытым исходным кодом для построения приложения, только чтобы обнаружить со временем, что эта база данных не масштабируется для удовлетворения требований приложения. Затем они вынуждены повторно вовлекать внутренние IT-команды для перемещения этого приложения на платформу вроде Apache Spark или другую базу данных.

Неясно, до какой степени DataOps и DevOps могут однажды сойтись. Прямо сейчас обе области, вероятно, останутся доменами сами по себе. Однако это также обилично ясно, что процессы DataOps должны улучшиться до точки, где построение конвейеров данных больше не является основным узким местом, сдерживающим модернизацию IT.