Автоматизация науки о данных и машинного обучения для бизнес-аналитики

Специалисты по данным играют решающую роль в успехе проектов по науке о данных. Но они не могут сделать это в одиночку. Им нужна помощь других наборов навыков, а также решения для автоматизации.

Данные, нефть  что смазывает винтики современной машины. Но есть проблема. Организации изо всех сил пытаются получить информацию о бизнесе от этой новой силы.

В дефиците

На рынке многие корпоративные клиенты пытаются создать очень большие группы по исследованию данных. Некоторые пытаются нанять сотни людей, чтобы справиться со взрывным ростом данных; с источниками, начиная от входных данных клиентов и заканчивая устройствами IoT — это станет основным каналом.

Но это не очень просто, специалистов по данным катастрофически не хватает.

Есть, как придумала Gartner, гражданские специалисты по данным — люди, которые создают или генерируют модели, использующие расширенную диагностическую аналитику или возможности прогнозирования и предписания, но чья основная работа не связана со статистикой и аналитикой, — но они выполняют дополнительную роль для специалисты по данным. Они не заменяют экспертов, так как у них нет для этого специальных передовых знаний в области обработки данных.

Даже с учетом этого многие предприятия изо всех сил пытаются создать группу специалистов по анализу данных, не говоря уже о команде специалистов по данным.

Наука о данных

Наука о данных описывается как междисциплинарная область, в которой используются научные методы, процессы, алгоритмы и системы для извлечения знаний и идей из данных в различных формах, как структурированных, так и неструктурированных, подобно интеллектуальному анализу данных.

Естественно, в нем много разных компонентов. Одним из них является машинное обучение, которое, по словам Риохея Фудзимаки, генерального директора и основателя dotData, является «самой интересной частью науки о данных».

Настоящая боль, с которой сталкиваются предприятия, связана с данными — создание наборов данных таким образом, чтобы они созрели для применения науки о данных. Данные очень сложны, и когда они собираются на предприятии, нет   хранятся для целей машинного обучения и науки о данных. Он хранится для деловых целей; например, в диаграммах.

Компании должны преобразовывать эти бизнес-данные в формат машинного обучения, который называется «обучение признакам», — говорит Фудзимаки. «И в основном нам нужно применять много знаний в предметной области для обработки данных».

Итак, в этом климате, когда талантов не хватает, а данные продолжают поступать, необходимо автоматизировать сквозной процесс обработки данных; включая данные в поток функций.

Получение информации и стимулирование действий

Машинное обучение может прогнозировать, предсказывать и определять новых клиентов, а в сфере финансовых услуг, например, кто имеет наибольший риск. Этот прогноз* способствует автоматизации бизнес-процессов. Основной бизнес интегрирован с бизнес-системой и автоматически запускает некоторые бизнес-операции. Таким образом, есть много областей, где можно сделать бизнес намного эффективнее.

Еще одним очень важным результатом машинного обучения и обработки данных является понимание бизнеса. Данные очень сложны — и отраслевые эксперты обладают знаниями и интуицией в предметной области — но за огромным объемом данных, поступающих на предприятие, скрывается много скрытых знаний. Машинное обучение или процесс обработки данных обычно могут раскрыть что-то неизвестное, невидимое или неожиданное даже для эксперта.

Пример из dotData

dotData работала с клиентом банка, который применил свою платформу, чтобы предсказать, кто является новыми клиентами, которые будут заинтересованы в продукте типа ипотечного кредита. Сначала они думали, что этот продукт понравится молодым людям. Но они обнаружили, что им интересовался совершенно другой тип клиентов, люди, которые были немного старше по возрасту. Оказалось, что эта демографическая группа покупателей покупала этот продукт чаще, чем прогнозируемая более молодая демографическая группа.

Этот тип нового понимания бизнеса означал, что клиент мог создать и разработать новую рекламную кампанию для этого сегмента клиентов; или они могут разработать новый продукт на основе этого типа бизнес-идей.

Автоматизация обработки данных и машинного обучения позволила извлечь из данных новые бизнес-идеи.

Одни специалисты по обработке данных… недостаточно хороши

Какие наборы навыков нужны предприятиям, чтобы наука о данных могла извлекать значимые бизнес-результаты? Во-первых, это математические или статистические знания, но в то же время этим предприятиям приходится загружать очень большие, крупномасштабные, сложные данные — для этого им нужна инженерия данных.

«Кроме того, использование одних и тех же данных для решения разных бизнес-задач требует разного опыта в предметной области», — говорит Фудзимаки.

Хорошему специалисту по данным необходимо обладать сильным набором математических и статистических навыков, но часто он не обладает навыками ведения бизнеса и обработки данных.

Нехватка специалистов по данным является препятствием для любого успешного проекта по науке о данных. Но проблема в том, что одних специалистов по данным недостаточно для завершения большого сложного проекта.

Для успешных проектов по науке о данных потребуются эксперты в предметной области, инженеры-проектировщики и специалисты по данным.

Очень большой частью проекта по науке о данных является прогнозирование* — его необходимо интегрировать с бизнес-системой и автоматически управлять большим объемом цифрового обслуживания. Это означает, что предприятиям нужен инженер, который понимает этот процесс обработки данных и надлежащим образом интегрирует этот процесс обработки данных в бизнес-системы. Фудзимаки называет таких людей «талантами в науке о данных».

Специалист по обработке и анализу данных обязателен, но для завершения проекта по анализу данных требуется гораздо больше ролей.

Решения, такие как dotData, помогают решить эту проблему, распределяют усилия и устраняют пробелы за счет автоматизации обработки данных и машинного обучения.