Правда или вымысел:о чем говорят ваши данные?

В 30 000 г. до н.э. наши предки рисовали на стенах пещер рассказы о своей повседневной жизни, а к 700 г. до н.э. у нас появилась первая печатная история – Гильгамеш. Перенесемся в 2021 год, и мы уже более полувека создаем истории вместе с ИИ. Но когда на повестке дня стоит точная бизнес-аналитика, компании хотят быть уверены, что их системы искусственного интеллекта и машинного обучения не допускают художественной вольности и не выдают небылиц.

Это особенно актуально сейчас, когда принятие решений на основе ИИ и машинного обучения находится на самом высоком уровне внедрения на сегодняшний день, и даже самые неохотные руководители начинают видеть огромные преимущества, которые можно извлечь из подхода к стратегии, ориентированного на данные. По мере того, как растет доверие к обещаниям ИИ и МО, точность имеет решающее значение. Вопрос остается главным для многих:«Как мы можем определить, говорят ли наши данные всю историю — и ту, которая основана на фактах? Что нам нужно знать, чтобы доверять нашим моделям?»

Безупречно чистые данные

Когда система машинного обучения предлагает неточный прогноз, мы можем обратиться к одному виновнику — данным. За исключением событий «черного лебедя», данные — это начало, середина и конец любой прогностической системы. Возможно, просто не хватило данных для надежного обучения системы или построения прогнозов, и в этом случае проблема может быть решена с помощью большего количества точек данных. Обычно что-то подобное выявляется на ранних стадиях создания модели и почти наверняка до развертывания, по крайней мере, в той мере, в какой это предотвращает крайне неточные прогнозы. Однако более вероятным виновником является то, что исходные данные были недостаточно «чистыми». Достаточно чисто относительно. Требования к данным для некоторых проектов сродни вопросу «Достаточно ли чисты мои кроссовки, чтобы сходить в супермаркет?» Другие, особенно в критически важных системах и тех, которые связаны с жизнью, безопасностью и благополучием, больше похожи на сценарии «без пыли, с блеском от слюны, с парадным блеском, в которых вы можете проверить свои зубы», когда речь идет о том, насколько чистыми должны быть данные. для надежного (и этичного) выполнения задачи.

Итак, что делает данные грязными? Рассказ содержит неточную или искаженную информацию.

Сломанные теги, сломанные модели

Это могут быть неправильно помеченные данные, данные с неверной информацией в неправильном поле или в неправильном формате, например. 27.12.2015 вместо 27.12.15 или 27.12.2015. В то время как первый вариант может просто вызвать ошибку или быть проигнорирован, замена двух последних форматов даты может привести к серьезным последствиям для точности. Недопустимое форматирование может повлиять не только на даты, но и на время, SKU, текст вместо чисел, числа вместо текста и все специализированные потоки данных, поступающие от производственного оборудования, такие как переопределения, сигналы тревоги, нагрузки, скорости и т. д. фиды и т. д. Дело в том, что без надежной и последовательной структуры данные могут стать беспорядочными и привести к неточным выводам.

С MachineMetrics компании могут воспользоваться нашим механизмом автоматического преобразования данных, который стандартизирует и форматирует широкий спектр типов данных для упрощения анализа. Он может обрабатывать пользовательские значения датчиков, состояние машины, режимы, сигналы тревоги, переопределения, нагрузку, скорость, подачу, параметры PMC, диагностику и многое другое.

Можете ли вы доверять своим источникам?

Также важно учитывать достоверность и точность любых используемых источников данных, особенно если эти источники являются людьми. Люди не самые точные существа. Мы округляем и забываем и подтасовываем числа. Мы ленимся, или устаем, или голодны, или отвлекаемся. По характеру использования человеческих источников данных данные будут так или иначе грязными. Здесь важно смотреть на допуски. Например, операторы машин могут добавлять данные о состоянии используемого ими оборудования. При предоставлении информации о времени простоя перечисленные причины могут быть точными, в то время как время является скорее оценочным. Это приводит к менее точной системе прогнозирования, поскольку выдаваемые ею ответы также ближе к оценкам, чем они могли бы быть, если бы предоставлялись действительно точные данные.

Это еще один сценарий, в котором следует учитывать реалистичные допуски. Секунды или получасовые интервалы? В случае получения машинных данных вы можете даже рассматривать наносекунды или меньше для некоторых вариантов использования. Независимо от того, какой допуск считается разумным для проекта, важно обеспечить соблюдение этого допуска и гарантировать, что любые данные, вводимые в систему, соответствуют этим параметрам точности.

Адаптер высокочастотных данных MachineMetrics собирает машинные данные с частотой 1 кГц (по сравнению со стандартной частотой 1 Гц — это в 1 000 раз быстрее), поэтому вы никогда не пропустите ни одной детали, независимо от того, какой уровень точности требуется вашему приложению.

Это также то место, где компании также должны искать возможность предвзятости. Ложь умолчания по-прежнему приводит к сказочным предсказаниям. Собираются ли ваши источники данных достаточно широко, чтобы показать всю картину, или они склонны к предвзятости из-за используемых методов сбора? Например, если вы пытаетесь вычислить среднюю заработную плату рабочего на производственной линии, но все респонденты были мужчинами, вы, вероятно, получите искаженную цифру по сравнению с тем, если бы вы опросили и мужчин, и женщин, чтобы получить более ясную и ясную информацию. более точная картина. Активный поиск потенциальных упущений, подобных этому, может привести к получению более точных данных и более точных прогнозов.

Контекст и сложность

Чем сложнее система, тем больше места для неточностей, несоответствий, рисков и общих несоответствий в данных и логике, лежащих в ее основе, когда вы пытаетесь преобразовать их во что-то, что можно использовать для анализа. Сколько шагов в процессе, в котором вы пытаетесь собрать данные? Есть ли у вас отраслевые знания, которые помогут вам дать контекст необработанным данным? Например, машина, которая «выходит из строя» несколько раз в течение нескольких минут с успешным производством между ними, с меньшей вероятностью будет настоящим производственным циклом, а скорее свидетельствует о тестах, чтобы убедиться, что любая проблема, изначально вызвавшая простои, полностью устранена, повторно откалибрована и готов к возобновлению настоящего производство. Однако если оставить эти числа в наборе данных в том виде, в каком они были введены, это может привести к серьезным неточностям, которые будет сложно заметить неопытному глазу.

Это не означает, что ваша команда по науке о данных должна быть абсолютным экспертом во всем в вашей отрасли. Однако это означает, что наличие каналов, по которым эксперты могут добавить контекст имеет решающее значение. Например, благодаря MachineMetrics операторы станков получают планшеты в цеху прямо на своем оборудовании. Они могут быстро и легко добавлять человеческий контекст к числовым данным, чтобы повысить точность на этапе анализа. Без такого рода контекстного канала определение того, какие числа следует бросить в банк, а какие выбросить, может превратиться в игру в угадайку.

Преобразования без потерь

Когда вы превращаете одну вещь в другую, в основном всегда есть некоторая степень потерь, какими бы незначительными они ни были — будь то преобразование руды в сталь, хлопка в текстиль или данных в формат для анализа, важно определить, насколько допустима потеря и как. многое можно предотвратить. Начать с чистых и точных данных — жизненно важный первый шаг к чистому и точному анализу. После этого этапа необходимо рассмотреть, какие инструменты вы будете использовать и для каких приложений, вероятность потери точности и до какой степени это приемлемо (или не имеет значения). Это напрямую возвращает нас к пониманию того, что вы пытаетесь сделать со своими данными и моделями, какие проблемы вы пытаетесь решить, и какой уровень точности требуется для их эффективного решения.

В MachineMetrics мы позаботимся о том, чтобы ваши данные давали вам всю правду и ничего кроме. Мы являемся отраслевыми экспертами, которые понимают глубину, широту и тип данных, которые вам нужны для решения самых насущных проблем, будь то время простоя оборудования, оптимизация производительности или множество других вариантов, используя подход, основанный на данных. Мы используем простые, удобоваримые форматы для обмена и анализа, которые сохраняют свою целостность и точность даже в режиме реального времени. MachineMetrics упрощает задачу интеграции данных цеха с реальным процессом принятия решений с помощью проверенного и надежного процесса, реализованного простым языком и с помощью таких простых инструментов, что даже люди, не являющиеся техническими специалистами, могут легко установить их самостоятельно, для сервиса, который привел наших клиентов к ROI менее чем за неделю. Чтобы узнать, на какие типы вопросов может ответить MachineMetrics для вашего бизнеса, или заказать демонстрацию, свяжитесь с нами в любое время здесь.