Три основных проблемы подготовки данных IoT

Шон Кандел из Trifacta

Интернет вещей (IoT) уже вошел в нашу повседневную жизнь - от носимых устройств и умных часов до подключенных телевизоров и умной бытовой техники.

Компании тоже используют эту технологию; в контексте B2B, говорит Шон Кандел, технический директор и соучредитель Trifacta , Подключенные устройства относятся к машинам и датчикам, которые используются для отслеживания всего, от производительности машины до требований к техническому обслуживанию.

Например, на производственной линии можно найти сенсорные устройства для отслеживания готовности машин и автоматизации профилактического обслуживания . Или больница может использовать устройства IoT для удаленного мониторинга пациентов, роботизированной хирургии или выдачи лекарств.

Все эти растущие датчики, устройства и другие связанные «вещи» в конечном итоге означают больше данных. И много всего. Но чем больше данных, тем сложнее их подготовить. Чтобы использовать преимущества Интернета вещей и больших данных и предоставлять полезные идеи для инноваций, промышленные организации должны быстро подготовить все эти разрозненные, неструктурированные данные. Ниже мы перечислили некоторые из трех основных проблем при подготовке данных Интернета вещей для использования их для анализа.

1. Огромные объемы данных

Международная корпорация данных (IDC) По оценкам маркетинговых исследований, к 2020 году устройства IoT будут создавать 40 000 экзабайт данных. Чтобы сохранить это в перспективе, в 2000 году во всем мире было создано три экзабайта информации. Это очень много данных, которые нужно подготовить, и при многих текущих процессах организации не смогут за ними поспевать. Это особенно сложно в промышленном мире, где производители и другие крупные промышленные организации обычно собирают миллиарды наборов данных с машин, датчиков и внутренних бизнес-приложений.

На подготовку данных по-прежнему уходит до 80% времени и ресурсов, задействованных в любом проекте данных, и чем больше данных вы добавляете, тем более трудоемким будет этот процесс. По мере того, как организации берут на себя новые инициативы в области данных Интернета вещей, им важно рассмотреть новые технологии и процессы, которые позволят им справляться с этим огромным потоком данных.

2. Сложность

Еще одна проблема при подготовке данных IoT - их сложный характер. Часто организации должны не только подготовить данные с отметками времени или геотегами, но и объединить их с более структурированными источниками, такими как файлы csv. Эта сложность только увеличивается, если учесть скорость, с которой генерируются эти данные.

Найти решение этой проблемы непросто. Технические ресурсы в организации, способные справиться с этой сложностью, обычно ограничены, а масштабирование этих ресурсов требует больших затрат. Использование обычных инструментов подготовки данных, таких как Excel, не может справиться с этой сложностью, из-за чего опытные аналитики не могут работать с этими данными. Сегодняшние организации должны найти способ использовать имеющиеся у них ресурсы для подготовки все более сложных данных Интернета вещей.

3. Совместимость

Компьютерные системы для бизнеса - как аппаратные, так и программные - не предназначены для обмена или обработки огромных объемов сложной информации, получаемой от датчиков и подключенных устройств. Трудно быстро интегрировать и обогатить данные, сгенерированные машиной, данными из бизнес-приложений, таких как Salesforce и Marketo, например, и других репозиториев данных. Поэтому современные организации должны искать решения, которые позволяют данным лучше взаимодействовать друг с другом, чтобы можно было использовать все данные организации.

Платформы подготовки данных для инициатив Интернета вещей

Многие организации, возглавляющие инициативы в области Интернета вещей, обратились к современным платформам подготовки данных, чтобы решить эти проблемы. Благодаря интеллектуальной платформе подготовки данных некоторые клиенты Trifacta заметили, что время, затрачиваемое на подготовку данных, сократилось на 90%, а также позволило нетехническим ресурсам самостоятельно подготовить большие объемы сложных данных. Кроме того, мы стали партнерами Sumo Logic . предложить клиентам решение для подготовки сложных данных журнала с данными бизнес-приложений.

Например, крупная европейская железнодорожная компания использует Trifacta для подготовки данных датчиков, полученных в результате мониторинга 8000 локомотивов на 32000 миль железнодорожных путей, чтобы предсказать, когда им потребуется техническое обслуживание. Перед тем, как принять Trifacta, компания готовила эти данные в индивидуальном порядке для нескольких людей и с помощью множества различных инструментов, что в конечном итоге задерживало анализ и их реакцию на необходимый ремонт. Теперь эта компания может подготовить 100% сложных данных датчиков и быстро сократила время, затрачиваемое на подготовку данных.

Другой клиент, Kuecker Logistics Group (KLG) , использует платформу Trifacta для подготовки множества данных датчиков, полученных со складов, принадлежащих крупнейшим розничным торговцам мира. У этих клиентов обширная и сложная цепочка поставок, и одно неисправное или неэффективное звено в цепочке может вызвать волновой эффект на последующих этапах.

Используя интеллектуальную платформу подготовки данных, Kuecker смог масштабировать процессы подготовки данных, не нанимая дорогостоящих разработчиков, что значительно повысило их эффективность. Теперь они подготавливают складские данные клиентов и быстрее определяют необходимые изменения, которые необходимо внести на складах.

Заключение

Данные Интернета вещей - это прекрасная возможность, но ее преимущества могут быть реализованы только при наличии надлежащей стратегии подготовки данных. Организации должны оснастить свою команду платформами подготовки данных, которые могут обрабатывать объем и сложность данных IoT, а также понимать, как эти данные могут и будут объединены с другими источниками в организации. Благодаря интеллектуальным решениям для подготовки данных вселенная Интернета вещей и больших данных больше не подавляет. Данные датчиков становятся ключом к инновациям, а не препятствием для них.

Автор - Шон Кандел, технический директор и соучредитель Trifacta.