Как начать внедрение машинного обучения в корпоративную среду

Мир давно миновал промышленную революцию, и теперь мы переживаем эру цифровой революции. Машинное обучение, искусственный интеллект и анализ больших данных - реальность сегодняшнего мира.

Недавно у меня была возможность поговорить с Кьяраном Дайнсом, старшим вице-президентом по продуктам Talend, и Джастином Малленом, управляющим директором Datalytyx. Talend - поставщик интеграции программного обеспечения, который предоставляет решения для больших данных предприятиям, а Datalytyx - ведущий поставщик решений для проектирования больших данных, анализа данных и облачных решений, обеспечивающих более быстрое, эффективное и прибыльное принятие решений на предприятии.

Эволюция операций с большими данными

Чтобы лучше понять эволюцию операций с большими данными, я спросил Джастина Маллена о проблемах, с которыми его компания столкнулась пять лет назад, и о том, почему они искали современные интеграционные платформы. Он ответил:«Мы столкнулись с проблемами, аналогичными тем, с которыми сталкивались наши клиенты. До аналитики больших данных это было то, что я называю

Он ответил:«Мы столкнулись с проблемами, аналогичными тем, с которыми сталкивались наши клиенты. До анализа больших данных это было то, что я называю «аналитикой сложных данных» . Было много ручного агрегирования и обработки данных в основном из локальных систем. И тогда самой большой проблемой, с которой мы, вероятно, столкнулись, была централизация данных и обеспечение доверия к ним перед применением различных аналитических алгоритмов, доступных для анализа необработанных данных и визуализации результатов значимым образом для понимания бизнеса ».

Он также добавил:«Наши клиенты не только хотели провести этот анализ один раз, но и хотели постоянно обновлять обновления производительности KPI через несколько месяцев и лет. Используя методы ручного проектирования данных, нам было очень трудно удовлетворить требования наших клиентов, и именно тогда мы решили, что нам нужна надежная и надежная платформа управления данными, которая решает эти проблемы ».

Появление науки о данных

Большинство экономистов и социологов обеспокоены автоматизацией производственных и коммерческих процессов. Если цифровизация и автоматизация продолжат развиваться теми же темпами, что и сейчас, высока вероятность того, что машины частично заменят людей в составе рабочей силы. Мы наблюдаем некоторые примеры явлений в нашем мире сегодня, но, по прогнозам, они станут гораздо более заметными в будущем.

Однако Дайнс говорит:«Специалисты по обработке данных предлагают решения сложных и сложных проблем, с которыми сегодня сталкиваются различные секторы. Они используют полезную информацию из анализа данных, чтобы понять и исправить ситуацию. Наука о данных - это ввод, а вывод осуществляется в форме автоматизации. Машины автоматизируют, но люди предоставляют необходимые данные для получения желаемого результата ».

Это создает баланс в спросе на человеческие и машинные услуги. И автоматизация, и наука о данных идут параллельно. Один процесс неполон без другого. Необработанные данные ничего не стоят, если ими нельзя манипулировать для получения значимых результатов. Точно так же машинное обучение невозможно без достаточных и релевантных данных.

Включение больших данных в бизнес-модели

Дайнс говорит:«Предприятия осознают важность данных и включают решения для больших данных и машинного обучения в свои бизнес-модели». Далее он добавляет:«Мы видим, что автоматизация происходит повсюду вокруг нас. Это очевидно в секторах электронной коммерции и производства и широко применяется в мобильном банкинге и финансах ».

Когда я спросил его о его мнении относительно трансформации спроса на процессы и платформы машинного обучения, он добавил:«Спрос всегда был. Пять лет назад анализ данных был одинаково полезен, как и сейчас. Единственная разница в том, что пять лет назад существовала предпринимательская монополия и данные хранились секретно. Кто бы ни располагал данными, обладал властью, а доступ к данным имел только несколько видных игроков рынка ».

Джастин работал с разными компаниями. Одними из его самых известных клиентов были Calor Gas, Jaeger и Wejo. Говоря о проблемах, с которыми эти компании столкнулись перед внедрением расширенной аналитики или машинного обучения, он сказал:«Самыми большими проблемами, с которыми сталкивается большинство моих клиентов, было накопление важных данных в одном месте, чтобы сложные алгоритмы могли выполняться одновременно, но результаты могли можно просматривать в одном месте для лучшего анализа. Каналы передачи данных и конвейеры данных были критически важны для того, чтобы анализ данных стал непрерывным, а не разовым ».

Причины быстрой цифровизации

Дайнс говорит:«Мы переживаем быструю цифровизацию по двум основным причинам. Технология развивалась экспоненциальными темпами за последние пару лет, и, во-вторых, массово изменилась организационная культура ». Он добавляет:«С появлением технологий с открытым исходным кодом и облачных платформ данные стали более доступными. Теперь больше людей имеют доступ к информации, и они используют эту информацию в своих интересах ».

Помимо достижений и разработок в области технологий, «новое поколение, входящее в рабочую силу, также зависит от технологий. Они в значительной степени полагаются на технологии в своих повседневных рутинных задачах. Они более открыты для прозрачного общения. Поэтому у этого поколения проще собирать данные, потому что они готовы рассказать о своем мнении и предпочтениях. Они готовы задавать невозможные вопросы и отвечать на них », - говорит Дайнс.

Говоря о проблемах, с которыми сталкиваются компании, выбирая решения для анализа больших данных, Маллен добавляет:«Проблемы, с которыми в настоящее время сталкивается промышленность при использовании машинного обучения, двоякие. Первая проблема, с которой они сталкиваются, связана со сбором данных, приемом данных, обработкой данных (качеством), а затем агрегированием данных. Вторая задача - бороться с нехваткой человеческих навыков в области инженерии данных, расширенной аналитики и машинного обучения »

Дайнс говорит:«Вам нужно интегрировать новый мир со старым. Старый мир в значительной степени полагался на сбор данных, в то время как новый мир фокусируется в основном на решениях для обработки данных. Сегодня в отрасли существует ограниченное количество решений, которые прямо сейчас удовлетворяют обоим этим требованиям ».

В заключение он сказал:«Нельзя игнорировать важность инженерии данных, а машинное обучение похоже на ящик Пандоры. Его приложения широко используются во многих секторах, и как только вы зарекомендуете себя в качестве качественного поставщика, компании обратятся к вам за вашими услугами. И это хорошо ».

Следите за сообщениями Киарана Дайнса, Джастина Маллена и Рональда ван Луна в Twitter и LinkedIn, чтобы узнавать больше интересных новостей о решениях для больших данных и машинном обучении.