Повышение интеллекта:интервью с NXP

Сегодня ключевая тема, которая четко освещается во многих выступлениях на «Встраиваемом мире 2021», - это широкое распространение периферийных вычислений для обеспечения пограничного интеллекта. По некоторым прогнозам, к 2025 году 90% всех периферийных устройств будут использовать ту или иную форму машинного обучения или искусственного интеллекта.

В чем заключаются проблемы, связанные с включением этого пограничного интеллекта, и как вы этого добиваетесь? Это тема разговора в недавнем подкасте с Роном Мартино, старшим вице-президентом и генеральным менеджером подразделения периферийной обработки данных в NXP Semiconductors. Хотя вы можете прослушать полный подкаст здесь, мы представляем некоторые отрывки из обсуждения в этой статье.

Определение периферийных вычислений

По своей сути периферийные вычисления - это способность выполнять эффективную обработку данных ближе к пользователю. Мы можем быстрее анализировать данные. Можете ли вы определить граничные вычисления в контексте того, как NXP решает эти задачи?

Мартино Проще говоря, пограничные вычисления - это распределенные локальные вычисления и сенсорные возможности. Он эффективно интерпретирует, анализирует и воздействует на данные датчиков для выполнения ряда значимых функций. Он не пытается быть заменой или альтернативой облаку, он становится дополнительным. Как правило, при голосовой поддержке, например, большое количество данных отправляется в облако, где используется более высокая вычислительная мощность для повышения качества обслуживания. Периферийные вычисления развиваются, становясь умнее, а затем и интеллектуальнее. Интеллектуальные периферийные вычисления уравновешивают использование локальных вычислений с центральными или облачными вычислениями. По мере того, как это развивается дальше, появляется больше интеллекта там, где мы хотим, чтобы конечные устройства имели больше возможностей для интерпретации, анализа, а затем принятия решений на местном уровне.

Не могли бы вы привести несколько примеров использования периферийных вычислений для повышения производительности и безопасности?

Мартино :В случае продуктивности отличным примером является улучшенная рабочая сила:использование периферийной обработки или носимых устройств с поддержкой машинного зрения и машинного обучения, где работник может диагностировать проблему и более быстро устранять ее, будь то дома или на заводе. .

Интеллектуальные периферийные устройства повышают безопасность, распознавая различные опасные сигналы:распознавая сигналы тревоги, упавшего человека или разбитого стекла, а затем определяя проблему, используя дополнительную информацию датчиков и вычисления. Использует ли он устройства радиолокационного обнаружения, которые разрабатывает NXP, использует ли он возможности технического зрения или просто интерпретирует аудиовход, поступающий в устройство.

Если мы перейдем к более экологичному и энергетическому сознанию, необходимо рассмотреть одно понятие - это сила вампира, когда вы подключаете устройства, а они ничего не делают, но по-прежнему потребляют энергию.

Мы также переходим к концепции «осознанного края», когда устройства реагируют более похожим на человека поведением. Они начинают понимать свою среду, они объединяют входные данные и взаимодействуют с другими устройствами для сбора информации и понимания контекста ситуации, а затем принимают соответствующие решения. Простым практическим примером этого являются схемы движения с локальной возможностью, которые могут интерпретировать скопления людей и различные точки скопления и оптимизировать ситуацию на местном уровне, наблюдая и определяя количество автомобилей и условия, чтобы сделать вождение более эффективным, чтобы вы не теряли время.

Технологии, обеспечивающие интеллектуальные возможности

С технологической точки зрения, какие составляющие составляют интеллектуальное и осознанное преимущество?

Мартино :Начнем с основы. Вам нужны вычислительные платформы, и их нужно масштабировать. Они должны быть энергоэффективными. В отличие от прошлого, теперь речь идет действительно о нескольких независимых гетерогенных вычислительных подсистемах. В основном это графический процессор, центральный процессор, блок обработки нейронной сети, блок обработки видео и DSP.

Как вы оптимизируете эти различные аппаратные ускорители и вычислительные устройства и оптимизируете их для конкретного конечного приложения? Вот где NXP действительно выделяется тем, что имеет масштабируемый диапазон вычислений со всеми остальными элементами. Затем идет интеграция оптимизированных аппаратных ускорителей или возможностей, нацеленных на голосовые приложения, взаимодействие человека с машиной, которое включает в себя как зрение, так и голос вместе, а затем делает это таким образом, чтобы действительно включать сверхнизкую утечку с рабочими режимами, которые могут адаптироваться к действительно оптимизировать потребление энергии, даже с этой большой встроенной памятью, необходимой при рассмотрении некоторых рабочих нагрузок.

Это касается оптимизации возможностей машинного обучения, интеграции безопасности с высочайшим уровнем покрытия для множества различных поверхностей атак, эффективного подключения, эффективного использования энергии, а также открытых стандартов. Он также может использовать преимущества технологии, предлагаемой NXP, такой как высокоточное измерение расстояния, независимо от того, использует ли она нашу технологию UWB для очень точного определения физического местоположения данного человека или устройства слежения.

Последнее, что нужно сделать, - это сделать все это удобным для пользователя, потому что, если им нелегко и неестественно пользоваться, то это не будет использоваться. Поэтому абсолютно необходимо обеспечить бесперебойную и удобную работу на месте.

Каким образом пользователь может создавать такие решения?

Мартино :Мы предлагаем все:от базового предложения процессора или микроконтроллера до эталонной платформы, предварительно оптимизированной для локальной передачи голоса, для возможностей зрения, обнаружения и логического вывода или их комбинации. Мы собираем эталонные платформы, которые клиент может приобрести, например, наше семейство устройств RT. У нас есть предложение по распознаванию лиц, которое можно приобрести, и это полностью активная и разработанная система, которую клиент может использовать в качестве отправной точки для изменения своих потребностей там, где они хотят специализироваться или где они хотят ее брендировать.

Различия в технологиях в потребительских и промышленных сценариях использования

Большинство представителей промышленности согласятся, что интеллектуальные устройства и системы в наших домах и на работе набирают обороты. Каковы некоторые технологические различия между простым старым IoT, как вы бы сказали, и промышленными рынками?

Мартино :Стандарты подключения, экологические требования, требования к долговечности (которая может составлять 15 с лишним лет) и требования безопасности гораздо более обширны и требовательны в промышленном пространстве, если сравнивать его с миром [потребительского] Интернета вещей. Одна из областей, в которую инвестирует NXP, - это сети, чувствительные ко времени (TSN), а также интеграция Mac и коммутатора с целым набором устройств, которые могут поддерживать гирляндную установку нескольких машин, работать и поддерживать функции конечных точек, используя этот более детерминированный Магистральная сеть TSN, которая также поддерживает гораздо более высокие скорости передачи данных и пропускную способность, на которые сходятся многие устаревшие стандарты.

Сравните это с рынками [потребительского] Интернета вещей. Существует гораздо более широкая потребность в экстремальной энергоэффективности, более широком использовании голосового HMI, беспроводной связи и более коротком жизненном цикле для таких приложений, как умные дома и носимые устройства. Что касается носимых устройств, вам нужны удобные возможности для пользователя, но вам нужно максимально долгое время автономной работы. Оптимизация этих периферийных устройств для выполнения своих функций, но затем выключения и сохранения заряда батареи очень важна, и этот действительно богатый пользовательский опыт должен выполняться наиболее эффективным способом, потому что именно в это время он сжигает батарею.

Проблема совместимости

В сфере умного дома часто бывает сложно взять продукт от одной компании и заставить его работать с другими устройствами. Как NXP пытается решить эту проблему, связанную с беспроводной совместимостью умного дома?

Мартино :Если посмотреть на устройства умного дома в качестве примера, стандарты и возможности взаимодействия очень фрагментированы. У нас есть проект стандартов под названием CHIP, или «Подключенный дом через IP». Компания NXP, а также ряд других лидеров отрасли работают вместе, чтобы попытаться консолидироваться, но не до проприетарного стандарта, а до открытого стандарта, общего для всей отрасли, и позволяет людям развивать этот открытый стандарт.

Основное внимание в этом проекте уделяется многолетней работе, которую NXP и другие проделали вокруг ZigBee, Thread и ZigBee Alliance, а затем развивать это с помощью возможностей верхнего уровня, используя технологии, которые Amazon, Apple, и Google развернули, чтобы создать этот открытый стандарт, который мы называем CHIP, и установить эту общую связь между устройствами. Когда что-то воткнешь, подключить будет очень просто.

В планах NXP - выпустить на рынок реальные продукты в конце этого года с первыми версиями стандарта CHIP.

Решение проблемы сложности и затрат на добавление периферийных интеллектуальных функций

Машинное обучение и искусственный интеллект на острие. Все это звучит довольно сложно и дорого, правда?

Мартино :Для многих, когда вы говорите об AI и ML, это очень сложное абстрактное понятие. Есть прогнозы, что к 2025 году 90% всех периферийных устройств будут использовать ту или иную форму машинного обучения или искусственного интеллекта. Мы искренне верим, что это так, и выпускаем продукты, оптимизированные для этого. Это сочетание того, что мы делаем для оптимизации используемого оборудования, процессоров и микроконтроллеров для реализации этой возможности. Для конечного пользователя важнее, насколько сложно развернуть практическое машинное обучение, имеющее значение для конечного варианта использования.

Есть много компаний, которые хотят собирать данные и создавать свои собственные модели. NXP фокусируется на том, как включить независимую от облака возможность, которая обеспечивает гибкость в простом пользовательском интерфейсе или среде разработки?

Это то, о чем мы недавно объявили, инвестируя в Au-Zone, и в 2021 году мы развернем улучшенную среду разработки, в которой вы сможете выбрать тип контента, который вы вводите. Ваши собственные данные, модели, которые у вас есть, или модели, которые вы используете. выбрали приобретение через ваш любимый источник или облачного провайдера, привезти его, а затем оптимизировать и развернуть на конечном устройстве. Потому что это оптимизация.

Как машинное обучение увеличивает стоимость конечного решения?

Мартино :Если у вас есть очень сложная, тяжелая модель или возможность машинного обучения, для этого потребуются гораздо более высокие вычислительные мощности, и чем выше вычислительные возможности, тем дороже это будет. Вы можете сделать это на пограничном процессоре или развернуть его в облаке. Когда мы пытаемся настроить эти варианты использования или эти модели для конкретного варианта использования, вы можете стать очень эффективными, а затем вы можете использовать масштабирование традиционных технологий и закон Мура, чтобы действительно добавить аппаратное ускорение, специфичное для машинного обучения, которое не занимает большая площадь кремния.

Это становится небольшим сумматором, но очень оптимальной способностью выполнять ту работу, которую вы хотите. Будь то обнаружение людей и идентификация их на местном уровне, например, вы можете сделать это очень эффективно на микроконтроллере, который оптимизирован с помощью очень, очень эффективной реализации на кристалле. Затем вы можете сделать его масштабируемым с помощью некоторых из наших процессоров, где вы можете масштабироваться до внешнего процессора нейронной сети с более высокой производительностью, или вы можете работать в дополнительном режиме с облаком. Опять же, все они имеют свою цену, и это зависит от сложности задачи, но это может быть очень эффективным для очень сложных функций, которые вы можете развернуть.

Этический ИИ

Ошибки в моделях машинного обучения и искусственного интеллекта вызывают все большую озабоченность. Какова роль отрасли в обеспечении этичного ИИ?

Мартино :Требуется четкая прозрачность операций, будь то простые концепции:«Я хочу знать, что он слушает меня или наблюдает за мной», но также очень важно, как он определяет свой вывод, чтобы затем предпринять действие. Стандарты безопасности, чтобы убедиться, что системы безопасны и не имеют доступа к бэкдору или других уязвимостей или уязвимостей с точки зрения поверхности атаки, чтобы кто-то мог получить доступ к системе ИИ, а затем повлиять на нее, чтобы сделать определенные вещи или принять определенные решения, которые может быть благоприятным для человека, атакующего систему.

Как реализовать системы искусственного интеллекта, в которых нет предустановленных предубеждений, которые с принципиальной точки зрения неверны? В NXP мы развернули инициативу по этике ИИ, которая подчеркивает нашу приверженность этим этическим принципам. В рамках этого мы говорим о том, чтобы быть хорошими, мы говорим о сохранении ориентированного на человека ИИ, что на самом деле заключается в предотвращении подчинения или принуждения со стороны системы ИИ, а также об этой прозрачности, высоких стандартах научного мастерства, а также о доверии. в системах ИИ.

Какие проблемы, по вашему мнению, остаются при внедрении периферийных технологий?

Мартино :Это постоянная деятельность, и есть много областей для дальнейшей оптимизации. Энергоэффективность, внедрение и использование концепций сбора энергии и почти пороговая работа устройств - это постоянные инвестиции многих в отрасли. Безопасность и необходимость защиты данных и дальнейшего развития - это постоянная деятельность.

Инвестиции в сигнатуры, специфичные для кремния, и различные типы криптографии, а также способы выполнения вычислений защищенным способом, такие как гомоморфное шифрование, выполнение вычислений в зашифрованной среде и никогда не расшифровывать ее. Затем расширили это до возможности подключения к пропускной способности в требованиях к задержке, а также к потребляемой мощности. В процессе оптимизации мы продолжим оптимизировать возможности подключения и все более эффективными способами внедрять их на эти периферийные устройства.

Наконец, вся эта концепция осознанного конечного интеллекта, мы находимся в третьем поколении разработки и внедрения нейронных сетевых процессоров или подсистем, которые входят в наши процессоры. Это способствует повышению эффективности и масштабирования, но в этой области продолжаются исследования с точки зрения повышения эффективности с помощью ускорителей и различных технологий, связанных с наращиванием нейронных сетей, а также квантового ИИ. Очевидно, что в ближайшем будущем мы увидим продолжение эволюции более традиционных ускорителей и их интеграцию в масштабируемые процессоры, которые NXP выводит на рынок.

Полный 27-минутный подкаст «Расширение возможностей везде» можно найти здесь.