Использование искусственного интеллекта и машинного обучения для извлечения полезной информации в пограничных приложениях

Если данные начинаются на периферии, почему мы не можем сделать как можно больше прямо там с точки зрения ИИ?

Взрывной рост периферийных устройств и приложений требует нового осмысления того, где и как анализируются данные и извлекаются полезные сведения. Новые возможности граничных вычислений в сочетании с более высокими требованиями к скорости получения информации во многих случаях использования стимулируют использование искусственного интеллекта (ИИ) и машинного обучения (МО) в граничных приложениях.

Где применяются AI и ML (на периферии, в центре обработки данных или облачном хранилище) — сложный вопрос. Чтобы получить некоторое представление о текущих стратегиях и передовых методах, мы недавно встретились с Саидом Табетом, главным архитектором, AI/ML &Edge; и Кэлвин Смит, технический директор Emerging Technology Solutions; оба в офисе глобального технического директора в Dell Technologies.

Мы обсудили растущую потребность в ИИ и машинном обучении, чтобы придать смысл большому объему данных Edge, которые генерируются сегодня, требования к вычислениям для AI/ML в приложениях Edge, а также необходимость выполнения таких вычислений на периферии, в центре обработки данных или в облачном хранилище.

Новые тенденции

RTInsights: Каковы современные тенденции и как AI и ML вписываются в обсуждение Edge?

Табет: Сегодня, когда люди говорят о новых тенденциях, они часто упоминают многие вещи, такие как Edge, IoT, AI/ML, дополненная реальность, виртуальная реальность, блокчейн и 5G. Мы позиционируем Edge как следующую вещь с точки зрения того, куда мы движемся с этими технологиями — не просто тенденций, а реального внедрения. Я думаю, что с точки зрения данных и пользовательского опыта необходимо понимание и, благодаря нашему нетерпению как человеческим существам, в сочетании с реальными проблемами задержки, получить это понимание как можно быстрее. Кроме того, идея о том, что если данные начинаются с периферии, почему мы не можем сделать как можно больше прямо там с точки зрения ИИ?

Очевидно, что AI, и особенно ML, жадны в отношении объема необходимых ему данных. Нужно быстро учиться. Что мы действительно можем сделать на краю? Я думаю, что это то, с чего начинается эта дискуссия. Блокчейн или распределенные реестры — еще одна область для рассмотрения. Как правило, вы увидите потребность в большом доверии, особенно с точки зрения данных. Также необходимо доверять выводам, которые мы генерируем, тому, как мы реагируем, и действиям, которые появляются на основе этих выводов. Это создает некоторые дополнительные потребности с точки зрения общей безопасности, конфиденциальности и управления. Вы должны учитывать все это в своем опыте, независимо от того, являетесь ли вы бизнесменом, частным лицом или парком транспортных средств.

Смит: Если мы возьмем общую оценку, скажем, от 20 до 30 миллиардов устройств IoT, подключенных сегодня. Возвращаясь назад, Саид, я думаю, что это было в 2014 году или около того, когда количество подключенных мобильных устройств превысило количество людей в мире, верно? Затем, в 2017 году, число устройств Интернета вещей превысило численность населения планеты.

Табет: Да. Верно.

Смит: Это был большой скачок, и он будет продолжать прыгать. Собираетесь ли вы нанять 27 миллиардов человек для обслуживания этих устройств Edge? Затем, поднимаясь по стеку инфраструктуры, очевидно, что это не сопоставление 1:1, но физически невозможно нанять достаточное количество администраторов баз данных, специалистов по данным, архитекторов и инженеров. Вместо этого все дело в автоматизации и оптимизации на периферии. Только огромный объем данных, и, как Dr. Табет упомянул жадность приложений и функций, особенно в ИИ. Вы должны уметь обрабатывать большой объем информации по множеству причин, одна из которых связана с затратами. Вы хотите проанализировать, какие данные действительно ценны на периферии, прежде чем отправлять их в центр обработки данных или облако.

Роль AI/ML с Edge

RTInsights: Зачем нам нужен AI/ML, когда мы говорим о Edge?

Табет: Есть несколько причин. Во-первых, есть почему. С точки зрения автоматизации ИИ и машинное обучение — это способ большей автоматизации и большей дисциплинированности, и вы делаете это на периферии. Вы видите это сегодня. Этот взгляд на построение этого континуума от облака до края, включая плоскость данных или плоскость управления, комплекты средств разработки и т. д., должен подкрепляться тем, что, по мнению разработчиков, если я пишу для края, это то же, что облако.

С точки зрения ИИ автоматизация — это большое дело. На границе вы не будете выполнять по-настоящему глубокую обработку (т. е. глубокое обучение — DL), по крайней мере, обычно. Еще один аспект, который я считаю действительно важным, заключается в том, что информация, которую вы собираетесь очень быстро получить на периферии, часто будет отличаться от той, которую вы собираетесь принести в свои центры обработки данных или в свое облако, связывая это с другими. виды информации. В этот момент вы теряете большую часть интеллектуального импульса, с точки зрения идей, которые вы забываете, или принятия решений, которые вы собираетесь делать, если делаете это на краю. Тем не менее, Edge нуждается в искусственном интеллекте. Они идут рука об руку.

Смит: Я думаю, что вторая причина — деловая. Все эти «вещи, датчики, приводы, устройства» могут быть такими же большими, как подключенный дом, подключенный круизный лайнер или подключенный автомобиль. Или они могут быть на заводе, тракторе или насосе. Короче говоря, сейчас все отрасли становятся коммодитизированными, верно? Есть возможность строить и покупать вещи по всему миру. Способы, которыми компании пытаются выделиться, заключаются в предоставлении услуг в сочетании с продуктами и активами, которые они продают. Чем больше вы можете себе представить, тем больше компаний переключаются с продукта на услугу. Это незначительная трансформация продукта в услугу.

Они пытаются продать свои активы как услуги. Иногда это даже изменение бизнес-модели и переход от капитальных затрат к эксплуатационным. Иногда они по-прежнему собираются продавать только в качестве капиталовложений, но они могут продавать дополнительный набор услуг или просто использовать его в качестве отличительного признака, когда их продукты умны и подключены. Опять же, как упоминал Саид, оптимизация и автоматизация и возможность получать нужные данные в нужное время, и правильное место позволяет компаниям конкурировать. Простое производство предмета уже не всегда приносит пользу.

Табет: Еще одна вещь, которую я хочу добавить, заключается в том, что в Edge, если мы смотрим на эти десятки или сотни тысяч устройств от одного предприятия или организации, будь то автономные транспортные средства, вы смотрите на автомобили как экземпляры, каждый из которых эти автомобили могут вести себя по-разному в различных условиях. Извлекать уроки из этого очень важно, когда вы объединяете их. То же самое и в промышленной автоматизации. Вы можете посмотреть на ветряные турбины, двигатели самолетов или здравоохранение. Во многих из этих различных сред вы получаете гораздо более точную, гораздо более эффективную и лучшую производительность этих модулей ИИ или алгоритмов ИИ, когда вы возвращаете эту информацию в центр обработки данных или облако. Другими словами, несмотря на то, что данные одного актива определенно представляют ценность, вы начинаете получать истинную информацию из объединенных групп активов и их взаимодействия в разных средах.

Решение о том, где следует использовать периферийный AI/ML

RTInsights: Где выполняется вычислительная работа AI/ML для приложений Edge?

Табет: Это восходит к предыдущему пункту, когда во многих случаях алгоритмы ИИ обрабатывали большой объем данных для обучения. Вы делаете это (и есть разногласия) в центре обработки данных или в облаке, в централизованной среде, где вы можете иметь эти мощные вычислительные возможности. На периферии вы должны развернуть эти алгоритмы, и их гораздо эффективнее использовать для целей влияния на периферии. Очевидно, есть разговоры о том, что в какой-то момент мы также сможем тренироваться на Edge. Сначала это будет ограничено из-за жестких ограничений большинства пограничных сред.

Соображения по поводу граничных вычислений

RTInsights: Каковы требования к вычислительным решениям на периферии?

Табет: Что ж, это очень сложно, потому что существуют разные определения того, что такое Edgeis. Вы разговариваете с производителем автомобилей, и они говорят, что моя машина — Edge. Когда вы разговариваете с производителем турбин, ветряные турбины являются их преимуществом. Производственные устройства на заводе также относятся к Edge. У них будет разная среда. Некоторые из них будут очень жесткими. У нас в Dell есть большой опыт работы с вычислениями в средах, которые могут включать в себя такие суровые условия с сильными вибрациями и чрезвычайно высокими или чрезвычайно низкими температурами. Я бы сказал, что одно требование номер один [для вычислительных решений на периферии] это потребляемая мощность. Должна быть маломощность. Это противоречит всему, что мы знаем, особенно в высокопроизводительных вычислениях, верно? Вы используете много графических процессоров, у вас тепло, и вам нужна энергия. Это невозможно в этих [пограничных] средах. Нам придется перенести эти [вычислительные компоненты] в другой форм-фактор, или, возможно, мы можем даже подумать о других типах ускорителей, таких как новое поколение ИИ-специфических типы ускорителей, которые появятся в ближайшие несколько лет.

Смит: Крутая и интересная вещь заключается в том, что мы постоянно можем работать в усиленном режиме для суровых условий и можем работать, скажем, при минус пяти, иногда 10 градусах Цельсия, а затем до 55 с лишним градусов Цельсия. Как упомянул доктор Табет, для опасных или суровых условий необходимо иметь возможность предотвращать проблемы, связанные с вибрацией, ударами и прочим прочим. Тем не менее, мы постоянно можем делать форм-факторы все меньше и меньше. , мы делаем это с помощью наших партнеров и разработчиков чипов.

Что интересно, так это идея сделать форм-факторы меньше и более прочными, и в то же время сделать их максимально простыми в эксплуатации и использовании. С точки зрения приложения, речь идет не об облаке, выполняемом на границе, как таковом, хотя это тоже может произойти. Речь идет скорее об облачных принципах, переносимых на периферию. Простота и легкость, с которой вы можете переносить, будь то контейнеры или виртуальные машины [виртуальные машины], в различные типы инфраструктуры и различные типы сред, а также иметь единое представление. Это также потенциально может обеспечить многооблачную среду. Edge может стать вашей новой контрольной точкой, вашим новым стеклянным обзором того, что происходит, который ликвидирует разрыв между OT или операционными технологиями и ИТ. Это увлекательно. Это новый рубеж для исследований, и я бы сказал, что он во многом определяет планы развития продукта на будущее.

Примеры использования Edge AI/ML

RTInsights: Можете ли вы привести несколько примеров приложений AI/ML Edge?

Табет: Один из них, над которым я работаю уже несколько лет, связан с проблемами, связанными с мобильными приложениями [такими как автономные транспортные средства]. Работая с несколькими организациями и напрямую с нашими клиентами, мы смотрим, как мы можем принести различные возможности на этот рынок. Я немного абстрагируюсь от этого, а также приведу примеры, которые могут облегчить такое развертывание Edge. Существуют варианты использования Edge в том, что мы называем RSU, придорожными устройствами, самими транспортными средствами или с определением того, что они делают. Некоторые из этих примеров являются расширенными версиями того, что мы называем HD-картами, картами высокой четкости, где карты семантически богаты, контекстно-зависимы и обновляются почти в реальном времени.

Это один из примеров, когда ИИ используется для уменьшения количества и стоимости передаваемых данных. Вы имеете дело только с тем, что вам нужно для этих конкретных услуг. Например, видео можно уменьшить. Вы можете уменьшить объем данных. Вы можете сосредоточиться на очень конкретных объектах, которые хотите обнаружить. Такие примеры на этом уровне могут помочь.

Другие связаны с состоянием этих устройств Edge, где вы контролируете конкретное устройство, двигатель, полный автомобиль и т. д., и вы пытаетесь сделать как можно больше анализа на уровне транспортного средства или устройства, особенно в целях безопасности. причинам (например, мониторинг на основе состояния во многих случаях использования IoT).

Есть и другие примеры в сфере розничной торговли, где вы увидите гораздо больше Edgedeployment, но по-другому. В том смысле, что у вас есть это соединение от Edge к облаку и центру обработки данных, в облаке Edge, как мы его называем, где вы делаете столько, сколько можете на Edge. [The Edge — это место, где] вы собираете данные и выполняете весь необходимый анализ. Вы обеспечиваете лучший опыт для конечного пользователя, например, в случае розничной торговли. Вы пытаетесь персонализировать этот опыт для них, чтобы минимизировать затраты, но при этом оптимизировать услуги.

Прямо сейчас, особенно в той ситуации, в которой мы находимся, есть много дел, связанных со здравоохранением. Сколько данных мы можем собрать и как можно быстрее отреагировать на них на периферии? Обычно мы говорим о распределенной среде в масштаб сотен тысяч или миллионов устройств, как говорил Кальвин. Это та область, в которой ИИ и машинное обучение могут сыграть гораздо большую роль. Мы постоянно говорим об изменении данных, и с возможностями ИИ некоторые из этих приложений адаптируются сами. Обучение продолжается, и обучение продолжается на этом уровне.

Во всех этих областях — здравоохранении, розничной торговле, автономных транспортных средствах, мобильности в целом и во многих других областях — вы снижаете затраты за счет профилактического или условного обслуживания. Edge также дает вам возможность удаленного управления устройствами, поэтому, если ваши специалисты не могут безопасно добраться до места, где собираются данные, они могут предоставить эту возможность удаленно и даже включить такие вещи, как AR или VR. Но вы также выполняете большую часть работы заблаговременно на Edge, поэтому при необходимости можете свести к минимуму их личное присутствие. Это лишь некоторые примеры.

Смит: Я бы добавил еще два, чем важны. Во-первых, у нас есть большой бизнес в области безопасности и охраны. Как упоминал Саид, вы можете запускать очень большие алгоритмы и обрабатывать данные для таких вещей, как… ну, позвольте мне привести вам пример. Представьте, что у вас есть сценарий, в котором происходит выстрел в общественном месте, скажем, возле заправочной станции. Вам нужно принять множество автоматических и немедленных решений, чтобы выяснить, какой план действий предпринять. Во-первых, подумайте о распознавании выстрела с точки зрения звука, но сопоставьте его с распознаванием объектов с точки зрения компьютерного зрения, чтобы на самом деле показать, что это было оружие. , а не просто машину задним числом.

Затем, если у вас есть преступник, который сделал это, вы также можете иметь то, что сейчас на самом деле является довольно простыми алгоритмами, которые могут выполняться на периферии, но, вероятно, возникли в центре обработки данных для таких вещей, как распознавание номерных знаков. Затем вы сможете опознать номерной знак убегающего подозреваемого. Все это автоматизировано и выполняется на периферии. В этой области есть много вариантов использования, включая камеры, наблюдение, безопасность и общую безопасность для граждан.

Другая важная область применения, о которой, я думаю, было бы упущением не упомянуть, — это глубокое обучение для интеллектуальных объектов, которое является испытательным стендом в Консорциуме промышленного Интернета, который мы начали довольно давно с Toshiba. С момента основания мы также добавили SAS и Wipro, причем разные компании привнесли в таблицу разные ценности.

Первоначальная идея заключалась в том, чтобы построить огромный объект, спроектированный по последнему слову техники. Если не ошибаюсь, кажется, он был построен в 2011 году, и в нем уже было, сколько датчиков, Саид? Например, 20 000 датчиков или что-то в этом роде?

Табет: Более того, я бы сказал. Когда он был построен в 2011 году, его было около 35 000.

Смит: 35000, верно. Это был совершенно новый, ультрасовременный объект, но проектировщики хотели выйти за рамки возможного, узнать и сделать больше. Нейронная сеть была реализована с помощью ряда серверов, подключенных к серверу параметров, что позволило зданию, по сути, самообучаться вместе с его критическими системами. Мы говорим о таких вещах, как лифты и эскалаторы, и, конечно же, о дорогостоящих вещах, таких как системы отопления, вентиляции и кондиционирования воздуха. Идея заключалась в том, чтобы хотя бы на начальном этапе обнаруживать аномалии и искать корреляции между вещами, которые человеку (без ИИ) было бы трудно найти.

Например, были сделаны очень интересные выводы о вещах, происходящих на кухне. Данные показали, что эти события на самом деле привели к увеличению затрат, и из-за этих действий были закрыты определенные участки вентиляции. Невероятно, что вы можете начать находить, когда это данные, а не люди, исследующие вещи. Мы говорим о настоящей, глубокой нейронной сети, которая самообучается — учит себя, что находить, ищет взаимные корреляции, которые люди обычно не определяют самостоятельно. Если подумать, то все это было на «Грань». Все это выполняется внутри здания. Затем часть основной обработки, конечно же, вернулась в центр обработки данных.

Табет: В более позднем случае использования для проекта мы добавили ряд устройств, похожих на все эти активы, которые имеют дело с HVAC и другими вещами в здании. Каждое из них было оснащено собственными алгоритмами машинного обучения или в некоторых случаях AI-алгоритмами, и это позволило им быть самодостаточными, но в то же время учиться друг у друга. Возвращаясь к истории Кальвина, это делается таким образом, что мы будем видеть все больше и больше таких автономных ИИ, если можно так выразиться. Действительно, идея в том, что мы не подаем ему направление, а со временем он самовыравнивается и самообучается по своим параметрам и оптимизации производительности, что и требуется.