Раскрытие действенных инсайтов на периферии с ИИ и ML

Если данные начинаются на Периферии, почему мы не можем сделать максимум прямо там с точки зрения ИИ?

Взрывной рост периферийных устройств и приложений требует нового мышления о том, где и как анализируются данные и извлекаются инсайты. Новые варианты пограничных вычислений, связанные с более требовательными требованиями скорости к инсайту во многих сценариях использования, повышают использование искусственного интеллекта (ИИ) и машинного обучения (ML) в периферийных приложениях.

Где применяются ИИ и ML (на периферии или в дата-центре или облачном объекте) — сложный вопрос. Чтобы получить инсайты в текущие стратегии и лучшие практики, мы недавно посидели с Саидом Табетом, Chief Architect, AI/ML & Edge; и Кальвином Смитом, CTO, Emerging Technology Solutions; оба в офисе глобального CTO в Dell Technologies.

Мы обсудили растущую потребность в ИИ и ML для приведения смысла в большие объемы периферийных данных, генерируемых сегодня, вычислительные требования для ИИ/ML в периферийных приложениях и следует ли такие вычисления делать на периферии или в дата-центре/облаке.

Новые тренды

RTInsights: Каковы сегодня новые тренды и как ИИ и ML вписываются в дискуссию о Edge?

Табет: Сегодня, когда люди говорят о новых трендах, они часто упоминают много вещей вроде Edge, IoT, ИИ/ML, дополненная реальность, виртуальная реальность, блокчейн и 5G. Мы позиционируем Edge как следующую вещь в том, куда мы идем с этими технологиями — не просто тренды, а истинное принятие. Думаю, с точки зрения данных и пользовательского опыта, есть потребность в инсайте и, благодаря нашей нетерпеливости как людей, связанной с реальными проблемами задержки, получить этот инсайт максимально быстро. Также идея: если данные начинаются на Периферии, почему мы не можем сделать максимум прямо там с точки зрения ИИ?

Очевидно, ИИ, и особенно ML, жадны к объему данных, которых им нужно. Им нужно учиться быстро. Что мы реально можем сделать на Периферии? Думаю, здесь начинается эта дискуссия. Блокчейн или распределенные реестры — другие области рассмотрения. Обычно вы увидите потребность в большом количестве доверия, особенно с точки зрения данных. Также должно быть доверие к инсайтам, которые мы генерируем, как мы реагируем и действующим элементам, вытекающим из этих находок. Это приносит дополнительные потребности с точки зрения общей безопасности, приватности и управления. Нужно принять все это во внимание в рамках того опыта, будь вы бизнес-персоной, или индивидуумом, или флотом транспортных средств.

Смит: Если взять общую оценку, что есть, скажем, между 20 и 30 миллиардами подключенных IoT-устройств сегодня. Назад, Саид, думаю, это было в 2014 или около того, что количество подключенных мобильных устройств превысило население мира, верно? Потом в 2017 IoT-устройства также превысили мировое население.

Табет: Да. Это верно.

Смит: Это был большой скачок, и он будет продолжаться. Вы собираетесь нанимать 27 миллиардов людей, чтобы выходили и поддерживали эти периферийные устройства? Затем, поднимаясь по стеку инфраструктуры, очевидно, это не 1:1 маппинг, но физически невозможно нанять достаточно администраторов БД, дата-сайентистов, архитекторов и инженеров. Вместо этого всё о движении автоматизации и оптимизации на периферии. Просто общий объем данных и, как сказал д-р Табет, жадность приложений и функций, особенно в ИИ. Нужно уметь обрабатывать много информации по множеству причин, одна — стоимость. Хочешь анализировать, что действительно ценные данные на периферии, прежде чем начинать слать их в дата-центр или облако.

Роль ИИ/ML с Edge

RTInsights: Почему нам нужны ИИ/ML, когда говорим о Edge?

Табет: Есть несколько причин. Первая — почему. С точки зрения автоматизации, ИИ и ML — способ автоматизировать больше и быть немного более дисциплинированным об этом, и вы делаете это на периферии. Вы видите это сегодня. Это должно принуждаться этим видением построения этого континуума от облака к периферии, включая плоскость данных, или плоскость управления, и наборы разработки и т.д., которые разработчики чувствуют, что если я пишу для периферии, это то же самое, что для облака.

С точки зрения ИИ, автоматизация — большая вещь. На периферии вы не будете делать действительно глубокую обработку (то есть Deep Learning — DL), по крайней мере, обычно. Другой аспект, который, думаю, действительно важен — факт, что инсайты, которые вы получите очень быстро на периферии, часто будут отличаться от тех, которые вы принесете в свои дата-центры или в свое облако, соединяя с другими типами информации. В этот момент вы теряете много интеллектуального импульса в плане инсайтов, которые получаете, или принятия решений, если делаете это на периферии. Все равно периферия нуждается в ИИ. Они идут рука об руку.

Смит: Думаю, другая причина — бизнесовая. Все эти «вещи, датчики, актуаторы, устройства», они могут быть большими как коннектед дом, или коннектед круизный лайнер, или коннектед автомобиль. Или они могут быть в или на заводе, тракторе, или насосе. Коротко, все индустрии теперь коммодитизируются, верно? Есть опция строить и покупать вещи по всему миру. Способы, которыми компании пытаются дифференцироваться — через сервисы в ассоциации с продуктами и активами, которые они продают. Чем больше вы можете извлечь ценность, многие компании переключаются от продукта к сервису. Это называется product-to-service трансформация.

Они пытаются продавать свои активы как сервисы. Иногда это даже смена бизнес-модели и переход от CapEx к OpEx. Иногда они все еще будут продавать только как CapEx, но могут продать дополнительный набор сервисов или просто использовать как дифференциатор, когда их продукты умные и коннектед. Опять же, как сказал Саид, оптимизация и автоматизация и способность подтягивать правильные данные в правильное время и в правильное место позволяет компаниям конкурировать. Просто производство предмета не всегда приносит ценность больше.

Табет: Еще одна вещь, которую хочу добавить: на периферии, если мы смотрим на эти десятки или сотни тысяч устройств от одного предприятия или организации, будь то автономные автомобили, вы смотрите на машины как экземпляры, каждая из которых может вести себя по-разному под разными средами. Учение от этого очень важно, когда вы объединяете это. То же в промышленной автоматизации. Можно смотреть на ветряки, двигатели в самолетах или здравоохранение. Во многих из этих разных сред у вас гораздо более точные, более эффективные, лучшие перформансы этих ИИ-модулей или ИИ-алгоритмов, когда вы приносите эту информацию обратно в дата-центр или облако. Другими словами, пока определенно есть ценность в данных от одного актива, вы начинаете извлекать истинные инсайты от коннектед флотов активов и их взаимодействий в разных средах.

Решение: где должны выполняться Edge ИИ/ML вычисления

RTInsights: Где выполняется ИИ/ML вычислительная работа для периферийных приложений?

Табет: Это возвращается к предыдущему пункту, где во многих этих случаях ИИ-алгоритмам нужно много данных для обучения. Вы делаете это (и есть разногласия) в дата-центре или в облаке, в централизованной среде, где можно иметь эти высокомощные вычислительные возможности. На периферии вы развертываете эти алгоритмы, и они могут быть намного более эффективны для использования в целях влияния на периферии. Есть очевидно разговоры, что в какой-то момент мы сможем делать какой-то уровень обучения на периферии тоже. Это будет ограничено сначала из-за тяжелых ограничений большинства периферийных сред.

Соображения для пограничных вычислений

RTInsights: Каковы требования к вычислительным решениям на периферии?

Табет: Ну, это очень хитро, потому что есть разные определения того, что такое Edge. Говорите с производителем авто, и они скажут: мой автомобиль — это Edge. Говорите с производителем турбин — ветряки — это их Edge. Производственные устройства на заводе — тоже Edge. У них будут разные среды. Некоторые будут очень суровыми. В Dell у нас был большой опыт с вычислениями в средах, которые могут включать эти суровые условия с сильными вибрациями и экстремально высокими или низкими температурами. Номер-один требование [для вычислительных решений на периферии] — потребление энергии. Оно должно быть низким. Это идет против всего, что мы знаем, особенно в HPC, верно? Вы используете много GPU, у вас тепло, и вам нужно питание. Это невозможно в этих [периферийных] средах. Нам придется привести это [вычислительные компоненты] в другой форм-фактор, или возможно мы даже подумаем в терминах разных видов акселераторов, таких как новое поколение ИИ-специфических типов акселераторов, выходящих в ближайшие годы.

Смит: Круто и интересно, что мы постоянно можем работать в ruggedized способе для суровых сред и уметь работать в, скажем, минус пять, иногда 10 градусов Цельсия и до 55+ градусов Цельсия. Как сказал д-р Табет, для опасных или суровых сред нужно уметь предотвращать проблемы, связанные с вибрацией, ударом и все тем джазом. Однако мы постоянно можем делать форм-факторы меньше и меньше. Очевидно, мы делаем это с помощью наших партнеров и разработчиков чипов.

Интересно это понятие дела форм-факторов меньше и более ruggedized, и в то же время делая их максимально простыми для эксплуатации и использования. С точки зрения приложения, это не о том, чтобы облако выполнялось на периферии, per se, хотя это тоже может случиться. Это больше о том, чтобы cloud-native принципы привозились на периферию. Простота и легкость, с которой вы можете портировать, будь то контейнеры или VMы, на разные типы инфраструктуры и разные типы сред, и иметь single-pane-of-glass вид. Это также потенциально может включить multi-cloud среду. Периферия может быть вашей новой контрольной точкой, вашей новой панелью стеклянной видимости в то, что происходит, мостящую разрыв между OT (операционной технологией) и IT сторонами. Это увлекательно. Это новая граница для исследования, и она драйвит большую часть продуктовых дорожных карт на будущее, я бы сказал.

Сценарии использования Edge ИИ/ML

RTInsights: Можете привести примеры периферийных ИИ/ML приложений?

Табет: Один, над которым я работал несколько лет — вызовы, связанные с мобильными приложениями [вроде автономных авто]. Работая с несколькими организациями и с нашими клиентами напрямую, мы смотрим, как принести разные возможности на этот рынок. Я немного абстрагирую и дам примеры, которые также могут облегчить такой периферийный деплоймент. Есть сценарии использования для Edge в том, что мы называем RSU, дорожные блоки, сами транспортные средства или с сенсингом, которое они делают. Некоторые из этих примеров — расширенные версии того, что мы называем HD maps, высокодетальных карт, где карты семантически богаты, контекст-драйвен и обновляются в near real-time.

Это один пример, где ИИ используется для снижения объема и стоимости передаваемых данных. Вы работаете только с тем, что нужно для тех конкретных сервисов. Например, видео можно сократить. Можно сократить объем данных. Можно фокусироваться на очень конкретных объектах, которые хотите обнаружить. Это вид примеров на том уровне, который может помочь.

Другие связаны со здоровьем тех периферийных устройств, где вы мониторите конкретное устройство, двигатель, полную машину и т.д., и пытаетесь сделать максимум анализа на уровне транспортного средства или устройства, особенно по причинам безопасности (то есть condition-based мониторинг во многих IoT сценариях).

Есть другие примеры в ритейле, где вы увидите много больше периферийного деплоймента, но иначе. В смысле, что у вас есть связь от периферии к облаку к дата-центру, в edge cloud, как мы его называем, где вы делаете максимум на периферии. [Периферия — это где] вы собираете данные и делаете весь анализ, который нужен. Вы предоставляете лучший опыт конечному пользователю, в случае ритейла, например. Вы пытаетесь персонализировать этот опыт для них, чтобы минимизировать затраты, но также оптимизировать сервисы.

Прямо сейчас, особенно в ситуации, в которой мы находимся, есть много случаев, связанных со здравоохранением. Сколько данных мы можем собрать и отреагировать на них максимально быстро на периферии? Обычно мы говорим о распределенной среде в масштабе сотен тысяч или миллионов устройств, как говорил Кальвин. Это область, где ИИ и ML могут играть гораздо большую роль. Мы говорим о том, что данные меняются все время, и с ИИ-возможностями некоторые из этих приложений будут адаптировать сами себя. Обучение продолжается, и обучение продолжается на том уровне.

Во всех этих областях — здравоохранение, ритейл, автономные авто, мобильность в целом и многие другие — вы снижаете затраты через предиктивное или условное обслуживание. Edge также дает возможность удаленного управления устройствами, так что если ваши эксперты не могут безопасно попасть в место, где собираются данные, они могут фактически предоставить эту возможность удаленно, и даже включать вещи вроде AR или VR. Но вы также делаете большую часть работы заранее на периферии, чтобы минимизировать их присутствие, если нужно, лично. Это лишь некоторые примеры.

Смит: Добавлю еще два важных. Один — у нас большой бизнес в и вокруг безопасности и защиты. Как сказал Саид, вы можете запускать очень большие алгоритмы и обрабатывать данные для вещей вроде... ну, дам пример. Представьте сценарий, где есть выстрел в общественном месте, скажем, возле заправки. Вам нужно принять много автоматизированных и немедленных решений, чтобы понять, какой курс действий предпринять. Одна вещь — подумайте о распознавании выстрела с аудио-точки зрения, но коррелируйте с распознаванием объекта с компьютерного зрения, чтобы фактически показать, что это было оружие, а не просто поп каратного автомобиля.

Затем, если у вас есть нарушитель, сделавший это, вы также можете иметь, что теперь фактически довольно простые алгоритмы, которые могут выполняться на периферии, но, вероятно, возникли в дата-центре, для вещей вроде распознавания номерных знаков. Затем вы можете идентифицировать номерной знак бегущего подозреваемого. Всё автоматизировано и выполняется на периферии. Много сценариев в этой области с камерами, наблюдением, безопасностью и общей безопасностью для граждан.

Другая большая область сценариев использования, которой, думаю, мы бы пренебрегли, не упомянув — Deep Learning для Умных Сооружений, который является тестбедом в Industrial Internet Consortium, который мы запустили довольно давно с Toshiba. С его основания мы также добавили SAS и Wipro, с разными компаниями, приносящими разную ценность за стол.

Исходная идея — построить огромное сооружение, спроектированное как state-of-the-art. Если я не ошибаюсь, верю, оно было построено в 2011, и у него уже было, сколько датчиков, Саид? Типа 20 000 датчиков или что-то такое?

Табет: Больше, я бы сказал. Вероятно, 35 000 когда было построено в 2011.

Смит: 35 000, верно. Это был совершенно новый state-of-the-art объект, но дизайнеры хотели толкать конверт и учиться и делать больше. Нейронная сеть была реализована через серию серверов, подключенных к параметрическому серверу, позволяя зданию по сути самообучаться в ассоциации с его критическими системами. Мы говорим о вещах вроде лифтов, эскалаторов и, конечно, высокозатратных вещей вроде HVAC систем. Идея была сделать, по крайней мере изначально, обнаружение аномалий и искать корреляции между вещами, которые человек (без ИИ) было бы трудно найти.

Например, было несколько очень увлекательных находок о вещах, происходящих на кухне. Данные определили, что эти происшествия действительно повышали затраты, и из-за этих действий конкретные секции вентиляции закрывались. Невероятно, что можно начать находить, когда это данные, а не люди исследуют вещи. Мы говорим о настоящей глубокой нейросети, где она самообучается — учит себя, что искать, ища перекрестные корреляции, которые люди обычно не определяют сами. Когда вы действительно думаете об этом, всё это было на «Edge». Всё это выполняется внутри здания. Затем некоторая базовая обработка, конечно, была обратно в дата-центре.

Табет: В более недавнем сценарии использования для проекта мы добавили количество устройств, похожих на все эти активы, работающие с HVAC и другими вещами внутри здания. Каждое из них было оснащено своими собственными алгоритмами машинного обучения или ИИ-алгоритмами в некоторых случаях, и это позволяло им быть самодостаточными, но в то же время учиться друг у друга. Назад к истории Кальвина, это делается так, что мы будем видеть все больше и больше такого автономного ИИ, если можно так сказать. Реально идея, что мы не кормим его направлением, но со временем оно само-уровняет и само-учается в плане своих параметров и оптимизации продуктивности, которая требуется.