Интеграция машинного обучения в энтерпрайз-операции: практическое руководство

Мир вышел за пределы Индустриальной Революции в Цифровую Эпоху, где машинное обучение, искусственный интеллект и big-data аналитика формируют повседневный бизнес.

Я недавно говорил с Кираном Дайнсом, Senior Vice President Products в Talend, и Джастином Мулленом, Managing Director в Datalytyx. Talend доставляет энтерпрайз-грейд дата-интеграцию и big-data решения, в то время как Datalytyx специализируется на дата-инженерии, аналитике и облачных сервисах, ускоряющих прибыльное принятие решений.

Эволюция big-data операций

Чтобы понять трансформацию, я спросил Муллена о препятствиях, с которыми столкнулась его фирма пять лет назад и почему современная интеграционная платформа стала необходимой. Он объяснил: «Мы столкнулись с теми же барьерами, что и наши клиенты. До big-data аналитики это было то, что я называю "Difficult Data analytics". Мы должны были вручную агрегировать и кранчить данные из преимущественно on-premise систем, и самым большим вызовом было централизовать и доверять данным перед применением любых аналитических алгоритмов или визуализацией результатов для бизнес-стейкхолдеров».

Муллен добавил: «Клиенты хотели не просто разовый анализ, а непрерывные KPI рефреши через месяцы и годы. Ручная дата-инженеринг делала это невозможным, так что мы поняли, что нам нужна робастная, надежная платформа, способная решить эти боли».

Приход дата-сайенса

Экономисты и соц-науки предупреждают, что автоматизация все чаще заменит рутинные роли. Тем не менее, как Дайнс указывает, «Data scientists решают сложные проблемы через индустрии, превращая сырые данные в действенные инсайты, энаблящие автоматизацию. Машины выполняют работу, но люди гайдят процесс для доставки значимых исходов».

Эта синергия создает сбалансированный спрос на оба человеческую экспертизу и машинную способность. Сырые данные одни бесполезны без обработки, и машинное обучение не может процветать без высококачественных, релевантных данных.

Вплетение big data в бизнес-модели

Дайнс отмечает: «Энтерпрайзы распознают стратегическую ценность данных и вплетают big-data и machine-learning решения в свои ядерные модели». Он добавляет: «Автоматизация уже очевидна в e-commerce, мануфакчеринге, мобильном банкинге и финансах, и ее потенциал только растет».

Когда спросили об эволюционирующем спросе на machine-learning платформы, Дайнс сказал: «Потребность всегда существовала. Пять лет назад данные накапливались у нескольких игроков; сегодня open-source инструменты и облачная инфраструктура делают данные более доступными, уравнивая игровое поле».

Джастин партнерил с компаниями вроде Calor Gas, Jaeger и Wejo. Он объяснил: «Самый сложный вызов для многих клиентов — консолидировать существенные данные в одно место так, чтобы сложные алгоритмы могли запускаться одновременно, доставляя консолидированные результаты для более глубокого анализа. Построение резилиентных дата-пайплайнов было ключом к превращению спорадических инсайтов в непрерывную ценность».

Причины быстрой цифровизации

Дайнс атрибутирует скачок двум силам: «Во-первых, технология эволюционировала на экспоненциальном темпе; во-вторых, организационная культура сдвинулась драматически». Он элаборирует: «Open-source и облачные платформы демократизировали доступ к данным. Новое поколение воркеров, глубоко тех-савви, требует прозрачности и реал-тайм информации, делая сбор данных легче и более инсайтфул».

Муллен подсвечивает два главных вызова, с которыми компании сталкиваются сегодня: «Во-первых, сбор данных, ингестия, курация и агрегация остаются пугающими. Во-вторых, есть талантовый разрыв в дата-инженеринге, передовых аналитиках и machine-learning экспертизе».

Дайнс заключает: «Мост между legacy и современным миром необходим. Пока старая модель опиралась на ручной сбор данных, новая фокусируется на end-to-end дата-решениях. Мало вендоров сегодня могут удовлетворить оба спрос одновременно. Важность дата-инженеринга не может быть переоценена; машинное обучение как Пандороса коробка — ее приложения охватывают каждый сектор, и однажды вы устанавливаете себя как качественного провайдера, бизнесы будут искать вашу экспертизу».

Фоллоу Киран Дайнс, Джастин Муллен и Рональд ван Лун в Twitter и LinkedIn для больших инсайтов в big-data решения и machine-learning тренды.