Умные данные: навигация по следующей границе IoT и Big Data

Сбор данных никогда не был проще. Всего за несколько кликов бизнес может подключиться к самым передовым облачным технологиям, готовым захватывать и хранить огромные объемы информации. Еще десять лет назад масштабирование сбора данных было привилегией крупных предприятий, которые могли позволить себе дорогие серверы и специализированных инженеров.

Сегодня Интернет вещей (IoT) превращает каждое устройство в генератор данных. К 2020 году один человек отвечал за производство 1,7 МБ данных каждую секунду. Еще более поразительно, автономный автомобиль может генерировать 11 ТБ данных за один день — цифры, которые только прогнозируются расти.

Для специалистов по данным изобилие информации — и благословение, и вызов. Когда новая модель глубокого обучения достигает 92% точности, инстинктивный ответ — винить недостаток данных. «Если мы соберем больше данных, модель улучшится», — мы часто говорим, надеясь, что количество решит все проблемы.

Это приводит к критическому вопросу: сколько данных действительно достаточно? И, что важнее, сколько данных становится избыточным?

В кругах машинного обучения эта проблема редко звучит, хотя Big Data может быть 40-зеттабайтовой ответственностью. Если данные — новая нефть, их нужно рафинировать; неконтролируемое накопление угрожает устойчивости и безопасности.

Возможно, реальная проблема в том, что Big Data не является окончательным ответом для AI. Нам нужно переосмыслить, что мы собираем.

Ранняя цифровизация требовала тщательного отбора данных из-за высоких затрат, способствуя ответственности и фокусу на качестве. По мере удешевления хранения и вычислительной мощности количество опередило качество, превращая данные в товар. Мы больше не спрашиваем, действительно ли собираемые данные добавляют ценность.

Данные стареют и деградируют. Не вся информация создана равной — сотни селфи имеют совсем другую аналитическую ценность, чем всеобъемлющая медицинская база литературы. Обработка устаревших или избыточных данных тратит ресурсы и может ввести модели в заблуждение.

Хотя дешевое хранение и более быстрые вычисления успокаивают, они держат темп только если человеческая экспертиза эволюционирует наравне с законом Мура. Без понимания, какие данные действительно информируют решения, мы рискуем утонуть в шуме вместо извлечения инсайтов.