Являются ли Интернет вещей и облачные вычисления будущим данных?

Проблемы с обработкой данных

С большим количеством устройств IoT поступают большие объемы и типы данных. Например, устройства IoT могут предоставлять различные типы данных, такие как:продажи клиентов, пройденные километры, координаты GPS, влажность, количество присутствующих людей, скорость автомобиля, температура и качество воздуха. Многие компании испытывают трудности с обработкой сложности и огромного количества данных, создаваемых IoT, и обнаруживают, что их конвейеры данных становятся неэффективными. Для сервисов, управляемых приложениями, которые полагаются на потоковую передачу в реальном времени, это серьезная проблема.

Для этого необходимы персонализированные потоковые приложения в реальном времени, такие как Kafka, Spark, Kudu, Flink или HBase, для управления высокими требованиями к большим данным современных облачных сервисов. При этом для анализа данных потокового трафика и создания статистических функций требуются сложные и ресурсоемкие методы мониторинга.

Хотя аналитики могут применять несколько методов обнаружения одновременно к входящим данным, это неизбежно приводит к сложности и проблемам с производительностью. Это особенно актуально, когда приложения охватывают несколько систем (например, взаимодействуют со Spark для вычислений, с YARN для выделения ресурсов и планирования, с HDFS или S3 для доступа к данным или с Kafka или Flink для потоковой передачи). Эти развертывания могут стать еще более сложными, если они содержат независимые, определяемые пользователем программы, такие как повторная предварительная обработка данных или генерация функций, общие для нескольких приложений.

Стремительный рост Интернета вещей

Чтобы создать облачную инфраструктуру, необходимую для поддержания стремительного роста устройств Интернета вещей, существующие инструменты и процессы управления данными не подходят для этой задачи. Многие компании начинают осознавать необходимость интеграции искусственного интеллекта или машинного обучения, чтобы справиться с проблемой, создаваемой обширными устройствами Интернета вещей.

Эти интеграции расширяют возможности групп данных по осмыслению всех этих данных, обеспечивая интеллектуальные операции с данными, которые снижают нагрузку на ручную сортировку данных. Это помогает быстрее направлять данные в нужное место, идти в ногу с потребностями бизнеса и поддерживать элементы их операций с данными в реальном времени.

Часто в этих сценариях потоковое приложение может отставать в обработке данных в реальном времени, и определение первопричины может быть сложной задачей для такой сложной системы. Таким образом, развертывание данных, основанное на машинном обучении и искусственном интеллекте (ИИ), с гораздо большей вероятностью обеспечит необходимую производительность, предсказуемость и надежность по сравнению с альтернативами.

Чтобы обеспечить эффективный и непрерывный сбор данных с устройств IoT, алгоритмы машинного обучения доказали свою важность в обеспечении возможности тщательного анализа выполнения приложений, определения причины потенциального сбоя и выработки рекомендаций по повышению производительности и использования ресурсов. Еще одно ключевое преимущество заключается в том, что внедрение таких процессов позволяет организациям получать более низкие затраты и повышенную надежность.

Рассмотрите каждый вариант использования

Таким образом, важно рассмотреть каждый отдельный вариант использования и посмотреть, на какую конкретную проблему Интернета вещей он дает ответ. Понимая в первую очередь среду и проблемы, которые она представляет для соответствующей организации, ИТ-группы могут ускорить внедрение необходимых решений. Будь то машинное обучение или искусственный интеллект, развертывание на основе Интернета вещей зависит от расширения группы обработки данных за счет автоматизации для управления возникающей сложностью.

Автор - Шивнатх Бабу, технический директор Unravel Data.