Интеллектуальные данные:следующий рубеж в Интернете вещей

Сбор данных никогда не был таким простым, как сегодня. Несколько щелчков мышью, и вы готовы к работе, вооружившись всеми лучшими технологиями обработки данных, которые может предложить облако, и готовы хранить все возможные данные. Трудно поверить, что всего десять лет назад все было кардинально иначе. Сбор данных в больших масштабах был, по сути, вариантом только для крупнейших корпораций, организаций, которые могли позволить себе как дорогие серверы, которые были единственным жизнеспособным вариантом для хранения всех данных, так и избранных инженеров, которые были способны извлечь максимум пользы. в те времена, когда наука о данных была только начинающей областью.

К счастью, в настоящее время сбор данных - это уже не просто корпоративный спорт. Фактически, благодаря Интернету вещей (IoT) мы все превратились, к лучшему или к худшему, в маленькие фабрики больших данных. К 2020 году один человек будет отвечать за генерацию 1,7 МБ данных в секунду. Даже сейчас всего одно автономное транспортное средство генерирует 11 ТБ данных в день. И эта тенденция не ослабевает. Напротив:он будет расти.

Это, безусловно, отличная новость для всех поклонников данных. Не так давно сбор высококачественных наборов данных был обременительной и кропотливой задачей. Тем не менее, мы всегда хотим большего. Если когда-либо кажется, что ваша новая модель глубокого обучения «только» достигает 92% точности, самым простым и легким оправданием будет обвинение данных. «Мой набор данных недостаточно велик», - небрежно говорим мы начальству. «Но если подождать еще несколько недель, эта модель станет лучшей из тех, что вы когда-либо видели!»

Это, кажется, ставит важный вопрос:сколько данных на самом деле достаточно? Но на самом деле здесь возникает еще более важный вопрос:сколько данных слишком много ?

Интересно, что мы нечасто слышим этот вопрос в кругах машинного обучения, даже если бы это действительно так. Хотя большие данные - это огромные возможности, они также представляют собой огромную ответственность в 40 зеттабайт. Если данные действительно являются новой нефтью, нам нужно довести аналогию до ее пределов:данные - чрезвычайно прибыльный ресурс, но, как и нефть, их необходимо усовершенствовать. Неспособность удержать себя от неконтролируемого использования ставит нас под угрозу. Короче говоря, то, как мы используем и рассматриваем данные сегодня, крайне неустойчиво, и этот факт все еще едва достигает коллективного сознания.

Может быть, просто может быть, это неправильный разговор. Возможно, большие данные на самом деле не являются ответом на ИИ.

Давайте сделаем шаг назад и подумаем о том, что мы действительно собираем. В первые дни цифровизации сбор данных действительно был более дорогостоящим, поэтому мы выбрали свои споты. Мы были более ответственными и чуть более сознательными. Поскольку создание и сбор данных стало проще и проще, качеству уделялось меньше внимания, а количество стало естественным побочным продуктом новых технологий, таких как облачное хранилище, облачные вычисления, машины с графическим процессором, крупномасштабные системы управления и передачи данных. Вскоре данные стали товаром, но с постоянным увеличением объемов данных и их хранения никто не задавал простого вопроса:зачем мы это собираем? Есть ли в этом вообще смысл?

С коммерциализацией построения моделей рвы данных, безусловно, могут показаться очевидным ответом на дифференциацию в ИИ, но все ли мы упускаем из виду общую картину? Возраст данных. Он становится несвежим. И, в конечном итоге, даже если нас соблазнили поверить в то, что данные и информация - это две совершенно разные вещи, все данные не созданы равными. В конце концов, подросток, сделавший 20 селфи перед публикацией в Instagram, определенно отличается от каталога медицинской литературы с возможностью поиска.

Все это не кажется проблемой до тех пор, пока мы цепляемся за веру в то, что прогресс в области аппаратного обеспечения защитит нас от апокалипсиса данных. Хранение данных с каждым днем ​​становится все дешевле и дешевле, а вычислительная мощность становится все более доступной. Это остается верным только в том случае, если создание данных компенсируется способностью инженеров не отставать от закона Мура. Даже если они могут делать это бесконечно долго, учтите следующее:если не все данные одинаково информативны, тогда какой смысл в обработке некачественных или избыточных данных?