Проекты по анализу данных:от теории к практике

В своем последнем сообщении в блоге я описал начальные важные шаги для обеспечения успешного результата проекта анализа данных:

Во-первых, тесное сотрудничество между поставщиком идей (отделом) и специалистами по обработке данных абсолютно необходимо для достижения поставленной цели проекта. Во-вторых, перед началом работы специалистов по обработке данных необходимо проверить качество и количество данных.

В этом посте я хотел бы дать вам несколько рекомендаций:как на практике работают проекты анализа данных? Как можно применить модель прогнозирования Bosch в сценариях использования?

1. Была ли достигнута цель проекта анализа данных?

Источник:Bosch.IO

Иногда даже в конце проекта вы можете осознать, что проект не достиг или полностью не достиг своей цели. По мере того, как вы работаете над достижением поставленных вами целей проекта, необходимо учитывать ряд моментов. Найдите здесь несколько типичных ошибок:

а. Неточная модель прогноза

В конце проекта вы можете осознать, что результат (например, модель прогнозирования) не соответствует требуемой точности или не дает ожидаемых новых идей.

Почему это могло быть?

Первый вопрос, который вам нужно задать, - была ли определена требуемая точность модели в начале проекта. Это, конечно, основная предпосылка, и ее следует учитывать на этапе планирования проекта. Упомянутые ранее аспекты, связанные с качеством и количеством данных, также могут привести к неточному результату, поскольку данные «не дают дополнительной информации».

Таким образом, становится ясно, что реализация проекта не является виноватой в менее чем удовлетворительном результате проекта, но что на этапе планирования присутствуют подводные камни, которые существенно влияют на результат.

б. Слишком долгое преследование неустойчивого варианта использования

Часто в начале проекта все заинтересованные стороны находятся в эйфории. Технические и коммерческие цели кажутся многообещающими. «Проект должен быть успешным!»

Однако в этом приговоре таится опасность. Несмотря на всю эйфорию, важно сохранять определенный нейтралитет и скептицизм в отношении (промежуточных) результатов. Упорное стремление к неустойчивому варианту использования может означать, что вы в конечном итоге потратите много времени и денег на проект, не добившись желаемого результата.

Поэтому крайне важно критически и непредвзято анализировать промежуточные результаты в отношении осуществимости достижения цели проекта.

Мы настоятельно рекомендуем вам прислушиваться к предупреждающим знакам и не преследовать цель проекта, которая реально недостижима просто потому, что вы «должны» ее достичь!

Позвольте мне упомянуть здесь мантру «быстро потерпите неудачу» или «измените ее», которая гласит, что лучше распознать или адаптировать недостижимую цель быстро, чем преследовать ее и вкладывать ненужные ресурсы - без добавления ценности или достижения полезного результата.

Мы оказываем поддержку в несколько этапов. После каждого этапа он анализирует результаты, достигнутые к этому моменту. Это позволяет адаптировать цели проекта или базовые данные на различных этапах процесса, делая риски прозрачными и предотвращаемыми.

Источник:Bosch.IO

2. Теория и практика - от Proof of Concept (PoC) до практического использования

Не все, что работает в «лабораторных условиях», на практике оказывается эффективным. К сожалению, это тот вывод, который нам иногда приходится делать в конце проекта. Но сначала мы должны это проверить.

Разработанная модель прогнозирования работала в соответствии с требованиями на основе исторических данных обучения. Пришло время интегрировать его в операционную среду.

Разочарование может наступить даже на этой ранней стадии. Модель прогнозирования предназначена для работы в системе управления и прогнозирования в реальном времени (в диапазоне миллисекунд). Однако это требование не было известно на момент разработки модели. Алгоритмы сложны, поскольку они должны соответствовать высоким стандартам точности, но ограниченные ресурсы означают, что они не могут быть применены на целевом оборудовании.

Так что то, что поначалу казалось отличным результатом проекта, в конечном итоге невозможно интегрировать в реальный вариант использования. Причина опять же в недоработках на этапе планирования.

Мы проводим проекты по анализу данных в соответствии со стандартом CRISP-DM с одним важным дополнением:мы уделяем особое внимание достижению экспертного уровня понимания проблемы клиента. (См. Также вопрос 3 сообщения в блоге:Как начать проект по анализу данных на производстве.)

Для этого на этапе начального анализа наши инженеры по анализу данных узнают больше о производственных процессах клиента и конкретной проблеме, которую необходимо решить. Они также задают много вопросов, чтобы помочь им глубже понять. Этот этап чрезвычайно важен для успеха проекта, поскольку закладывает основу для установления взаимосвязей между реальными процессами, проблемами и данными. Вы не сможете найти решения в цифровом мире, если не понимаете процессы и проблемы реального мира.

Источник:Bosch.IO Источник:Bosch.IO

Рекомендации для успеха проектов по анализу данных

Есть много причин, по которым проекты по анализу данных могут терпеть неудачу. Часто нет одного причина одна ; вместо этого проблема заключается в сумме отдельных аспектов.

Посвятите необходимое время и внимание этапу подготовки и планированию вашего проекта аналитики данных. Если вы будете соблюдать основные правила и передовой опыт и следовать им, вы будете на пути к успеху в своем проекте.