От Edge к Cloud: мастерство IoT data pipelines

Интернет вещей (IoT) может трансформировать широкий массив задач — от предиктивного обслуживания бытовых приборов до интеллектуальных трафик-сигналов, разгружающих заторы.

< p>По словам Пинакина Патель, лида Solutions Engineering в MapR, большинство IoT-сценариев начинаются с сенсорных данных, текущих от edge-устройств к централизованному аналитическому движку, который затем триггерит ответы — часто прямо обратно на edge.

Пока input-process-output модель стандартна, IoT-деплойменты могут напрягать data-management системы из-за массивных объемов данных и латентности, приходящей с мировым распределением.

Большие IoT данные

Агрегация данных от потребительских устройств — веяреблов, умных термостатов и подобных — знакома; объем возникает от самого количества устройств, а не индивидуального выхода данных.

Новые вызовы появляются, когда устройства производят мегабайты или гигабайты в секунду, такие как real-time видео, аудио или LIDAR потоки, которые могут перегружать конвенциональные storage решения.

Инфраструктура должна эволюционировать: high-volume потоки насыщают существующую полосу пропускания, необходима robust архитектура — думайте транспорт, мед оборудование, offshore риги. Однажды в облаке, ИИ и ML становятся критичными для извлечения инсайтов и оркестрации автоматизированных действий.

Пример здравоохранения

Абстрактные обсуждения могут затуманивать реальность; каждый IoT юзкейс имеет уникальные драйверы и нужды. Давайте изучим конкретные сценарии для иллюстрации типичных вызовов.

Раннее обнаружение и лечение хронических заболеваний — вроде сердечных — может спасать жизни и резать затраты. Ключевые барьеры — координация ухода и предотвращение госпитализаций. Пилотные программы деплоят доступные сенсоры, стримящие витальные признаки и ЭКГ показания через сотовые сети к облачным приложениям.

Эти диагностические платформы оценивают real-time виталы и ЭКГ вместе с историческими медицинскими записями пациентов. Потоки данных комбинируют live streams, архивные данные, индивидуальные пациентские метрики и бенчмарк датасеты, скомпилированные из огромных репозиториев прошлых сканов.

Клиницистам нужен воркфлоу, собирающий, агрегирующий и обучающийся на широкой когорте устройств для выявления критических событий. Детекция аномалий — таких как передозировка или надвигающиеся сердечные инциденты — требует edge-side интеллекта для быстрого ответа.

Исследователи разработали платформу, унифицирующую stream и batch обработку в единой data fabric, давая консистентную обработку данных, fine-grained access control и scalable, high-performance интеллект.

Автомобильный пример

Та же data-fabric стратегия применяется в других местах, например Mojio's Connected Car платформа, объединяющая авто, страхование и телеком стейкхолдеров. Mojio таргетирует 500 000 транспортных средств в первом роллау, доставляя tailored behavioral, diagnostic и контекстуальные данные.

Mojio's телематика захватывает скорость, руль и торможение для оценки усталости водителя и триггеринга алертов. Агрегированные долгосрочные driving данные могут гидить пользователей к более топливно-эффективным привычкам и дать страховщикам квантифицировать риск.

Конвергенция и fabrics

И здравоохранительные исследователи, и автоинженеры пионерируют next-gen приложения. Их общая основа включает cloud-scale data stores, robust databases и integrated persistent streaming — уполномачивая разработчиков архитекторствовать, строить и деплоить решения, ранее недостижимые.

Коллективно эти компоненты формируют конвергентную дата-платформу, все более адаптируемую по разнообразным IoT сценариям. Такие платформы доставляют high-IOPS, low-latency file fabrics для compute-intensive ворклоудов и дают возможность real-time аналитики, которая ingests, stores, analyzes, processes и acts — все без дублирования данных.

Когда IoT данные traversing edge, cloud и back, организации должны отказаться от legacy монолитов и принять конвергенцию для масштабирования инновативных юзкейсов.

Автор блога: Пинакин Патель, глава Solutions Engineering для MapR.

Об авторе

Пинакин Патель — глава Solutions Engineering для MapR. У него более 25 лет опыта в мире данных и том, как организации извлекают ценность из этого критического бизнес-ресурса.