Получение преимущества с помощью данных О данных

По мере того, как данные IoT становятся все более важной частью бизнес-операций предприятия, возможность уменьшить задержку при анализе и обработке данных может иметь значение. Это поднимает обещание реального времени на новый уровень.

По сетям IoT перемещается много данных — до такой степени, что идентификация и обнаружение данных существенной важности может замедлить работу. Метаданные — данные о данных — являются ключами к царству данных, особенно когда речь идет об индексации и идентификации неструктурированных данных. Точно так же, как данные могут перегрузить корпоративные функции, метаданные могут еще больше замедлить работу.

Новое предложение, представленное на недавней конференции IEEE Edge Computing,
предлагает способ решить проблему терабайтов метаданных, выделяемых во многих доменах приложений — то, что они называют «эффективными и масштабируемыми метаданными», термин, который не был бы даже необходим в эпоху пакетной обработки до появления периферийных устройств.

Исследователи Бинг Чжан из Университета Иллинойса и Тевфик Косар из Университета Буффало предложили решение, которое позволяет быстрее и эффективнее перемещать метаданные по сетям IoT. Они также разработали способ кэширования и прогнозирования доступа к метаданным в сети, что потенциально может уменьшить задержку при доступе к данным и их перемещении. «Мы воспроизвели примерно 20 миллионов операций доступа к метаданным из реальных трассировок аудита, в которых наша система достигла 80 % точности при прогнозировании предварительной выборки и сократила среднюю задержку выборки на 50 % по сравнению с современными механизмами».

См. также: В отчете Deloitte подробно описаны задачи модернизации данных

Уже сейчас «более 50% всех операций ввода-вывода связаны с интенсивным использованием метаданных.
вычисления и запросы на чтение атрибутов файлов доминируют во всех рабочих нагрузках», — констатируют Чжан и Косар. Они говорят, что более агрессивные процедуры предварительной выборки, которые перемещают данные из хранилища во временную память в ожидании предстоящих запросов пользователей, могут лучше работать с метаданными, чем с самими данными.

Авторы протестировали такую ​​архитектуру, используя журналы трассировки сетки Yahoo Hadoop из Yahoo! Набор данных Webscope, состоящий из непрерывных ежедневных операций с метаданными узла имени Hadoop в 2010 году. Система достигла «80% прогнозирования операций с метаданными и сократила среднюю задержку выборки на 50% по сравнению с другими современными механизмами». они сообщают. «Это удобно для сети IoT, где устройства IoT с ограниченными вычислительными возможностями и возможностями хранения могут достигать той же средней задержки выборки, что и у периферийных/туманных вычислительных узлов».

По мере того, как данные IoT становятся все более важной частью бизнес-операций предприятия, возможность уменьшить задержку при анализе и обработке данных может иметь значение. Это поднимает обещание реального времени на новый уровень.