Жизненный цикл Data Science: полное руководство по CRISP-DM

С приходом Big Data современная информатика достигла новых высот. Датасеты в 100+ терабайт — обыденность.

При таких объёмах легко утонуть в хаосе и терять время на мусор. Две причины следовать строгой методологии — эффективность и скорость.

Рисунок 1. Современная Data Science работает с огромными наборами данных — Big Data.

Жизненный цикл Data Science — фреймворк для определения, сбора, организации, оценки и развёртывания проектов Big Data. Итеративный процесс из логических шагов с обратной связью и возможностью пивота.

Как выглядит последовательность? Единого универсального стандарта нет. Компании адаптируют цикл под себя, добавляя шаги. Но у всех моделей есть общие знаменатели. Здесь разберём CRISP-DM — одну из первых и самых популярных моделей.

Модель CRISP-DM

CRISP-DM = Cross Industry Standard Process for Data Mining. Опубликована в 1999 году ESPRIT — европейской программой по ИТ-исследованиям. Состоит из 6 фаз, направляющих проект. Заставляет стейкхолдеров думать в бизнес-терминах: ставить и решать ключевые вопросы проблемы.

Разберём 6 фаз подробно.

Рисунок 2. 6 итеративных фаз CRISP-DM. Изображение提供: Kenneth Jensen

Фаза 1: Понимание бизнеса (Business Understanding)

Задачи: определить проблему, поставить цели. Фокус — бизнес (заказчик). Команда должна доставить решение заказчику (другой отдел компании).

После определения потребности — критерии успеха: KPI или SLA для объективной оценки прогресса и завершения.

Анализ бизнес-ситуации: риски, планы отката, меры на случай форс-мажора, ресурсы. План проекта с вехами и ресурсами.

Фаза 2: Понимание данных (Data Understanding)

Фокус на данных. Начальное определение: какие данные нужны, где взять, тип, формат, связи между полями.

Первый запуск сбора данных — снимок структуры. Оценка качества.

Фаза 3: Подготовка данных (Data Preparation)

Укрепляет фазу 2, готовит датасет к моделированию. Поля первой выборки курируют, удаляют лишнее — очистка данных.

Иногда нужно вывести информацию из других полей или объединить. Данные приводят к финальному формату.

Фаза 4: Моделирование (Modeling)

Ключевая задача — выбрать алгоритм обработки. Алгоритм = последовательность шагов и правил в софте для Big Data.

Вариантов много: линейная регрессия, деревья решений, SVM и др. Выбор правильного — скилл опытного дата-сайентиста.

Рисунок 3. Линейная регрессия — один из алгоритмов моделирования Big Data.

Следующий шаг — закодить алгоритм в приложение. Планируется тестирование: выделение выборок для теста и валидации.

Фаза 5: Оценка (Evaluation)

Иногда алгоритм неочевиден сходу. Запускают несколько, анализируют результаты, выбирают лучший. После тестов — ревью на полноту и точность.

Главное — ведут ли результаты к решению. В итеративной модели — критичная точка: либо запускают крупную итерацию, либо переходят к финалу.

Фаза 6: Развёртывание (Deployment)

Проект уходит из теста в продакшн. Планирование графика и стратегии развёртывания критично — минимизировать риски и даунтайм.

Диаграмма показывает конец, но дальше — мониторинг и поддержка. Мониторинг = гиперзабота (hyper care) сразу после го-лайва. Поддержка = полупостоянный процесс обновления и развития решения.

Big Data так названо не зря: данных горы. Жизненный цикл помогает решить, что хранить и использовать — например, для предиктивного обслуживания.