Повышение производительности IoT с метаданными-ориентированными инсайтами данных

По мере того как IoT-данные становятся более важной частью бизнес-операций предприятия, способность снизить задержку в аналитике и обработке данных может сделать разницу. Это поднимает обещание real-time на новый уровень.

Много данных движется через IoT-сети — до точки, где идентификация и локализация данных материальной важности может замедлить вещи. Метаданные — данные о данных — это ключи к царству данных, особенно когда речь идет об индексации и идентификации неструктурированных данных. Так же как данные могут перегружать enterprise-функции, метаданные могут замедлять вещи еще дальше.

Новое предложение, представленное на недавней IEEE Edge Computing конференции, предлагает способ решить проблему терабайтов метаданных, назначаемых во многих доменах приложений — то, что они называют «эффективными и масштабируемыми метаданными», термин, который не был бы даже необходим в pre-edge, batch эре.

Исследователи, Бин Чжан из Университета Иллинойса и Тевфик Косар из Университета в Буффало, предложили решение, которое движет метаданные через IoT-сети более быстрым и эффективным способом. Они также придумали способ кэшировать и предсказывать доступ к метаданным через сеть, что потенциально может снизить задержку в доступе и движении данных. «Мы воспроизвели примерно 20 млн операций доступа к метаданным из реальных audit traces, в которых наша система достигла 80% точности во время prefetch prediction и снизила среднюю задержку выборки на 50% по сравнению с state-of-the-art механизмами».

См. также: Отчет Deloitte детализирует масштаб вызова модернизации данных

Уже, «более 50% всех I/O операций обусловлены metadata-intensive computing и запросы на чтение файловых атрибутов доминируют во всех рабочих нагрузках», заявляют Чжан и Косар. Они говорят, что более агрессивные prefetch рутины — которые движут данные из хранилища во временную память в предвидении предстоящих пользовательских запросов — могут работать лучше с метаданными, чем с самими данными.

Авторы протестировали такую архитектуру, используя Yahoo Hadoop grid trace logs из Yahoo! Webscope dataset, состоящие из непрерывных ежедневных операций метаданных Hadoop name node в 2010 году. Система достигла «80% prediction rate на своих метаданных операциях и снизила среднюю задержку выборки на 50% по сравнению с другими state-of-the-art механизмами», сообщают они. «Это friendly к IoT-сети, где IoT-устройства с ограниченными вычислительными и хранилищными возможностями могут достичь ту же среднюю задержку выборки, что и proximity edge/fog compute node».

По мере того как IoT-данные становятся более важной частью бизнес-операций предприятия, способность снизить задержку в аналитике и обработке данных может сделать разницу. Это поднимает обещание real-time на новый уровень.