Тенденции продолжают продвигать обработку до края для ИИ

Ключевые выводы из этой статьи включают следующее:

• При росте количества устройств и объемов данных теперь предпочтение отдается моделям распределенных вычислений из соображений скорости, производительности и безопасности данных.
• Недавние шаги вендоров со стороны NVIDIA и VMware обеспечивают поддержку обработки больших объемов данных, такой как искусственный интеллект и машинное обучение, на периферии.
• Многие процессы и отрасли получат выгоду от вывода обработки на периферию, включая промышленный Интернет вещей и потребительский Интернет вещей.

По мере роста количества подключенных устройств на первый план вышли новые способы обработки, позволяющие справиться с ростом количества устройств и данных.

В течение многих лет организации переходили к централизованной архитектуре удаленной обработки данных в облаке, а не в локальных центрах обработки данных. Облачные вычисления позволили стартапам внедрять инновации и расширять свой бизнес, не требуя огромных капитальных затрат на инфраструктуру центра обработки данных или текущих затрат на управление ИТ. Это позволило крупным организациям быстро масштабироваться и оставаться гибкими за счет использования ресурсов по запросу.

Но по мере того, как предприятия переходят к более удаленным моделям, видео-обмену и другим процессам, им требуется архитектура периферийных вычислений для решения задач, связанных с накоплением данных.

Эти процессы с большим объемом данных должны происходить за доли секунды:подумайте об автономных автомобилях, потоковой передаче видео или отслеживании грузовых автомобилей в реальном времени на их маршруте. Отправка данных в облако и обратно на устройство занимает слишком много времени. Это также может привести к увеличению затрат и компрометации данных при передаче.

«Заказчики понимают, что они не хотят передавать большую часть обработки в облако, поэтому они думают, что конечная цель - это реальная цель», - сказал Маркус Леви, глава отдела технологий искусственного интеллекта в NXP Semiconductors, в статье о рост встроенного ИИ.

В последние годы архитектура периферийных вычислений выдвинулась на первый план, чтобы приспособиться к быстрому увеличению количества данных и устройств, а также скорости, с которой эти данные перемещаются.

Согласно данным MarketsandMarkets, рынок периферийных вычислений вырастет с 3,6 млрд долларов в 2020 году до 15,7 млрд долларов к 2025 году.

Рыночные движения продолжают подталкивать переработку к периферии:NVIDIA

Недавние шаги NVIDIA, гиганта на рынке графических процессоров (GPU), и VMware, поставщика виртуализации, поддерживают эти новые архитектуры распределенной обработки и открывают путь для молниеносной обработки на периферии.

Во-первых, например, в сентябре NVIDIA объявила о намерении заплатить 40 миллиардов долларов за Arm - отчасти для того, чтобы и дальше подтолкнуть ИИ к совершенству. В то время как NVIDIA доминировала в центрах обработки данных со своими графическими процессорами, Arm прочно обосновалась на рынке мобильных устройств, поставляя чипы Apple, Qualcomm и другим.

«Если вы верите, что будущее за искусственным интеллектом, и вы верите, что он основан на графических процессорах и процессорах, значит, возможности NVIDIA по созданию этих сквозных систем значительно выросли», - сказал Зевс Керравала в видеоинтервью на NVIDIA. -Сделка оружия и перспективы ИИ на грани. «Особенно на рынке периферийных вычислений - [NVIDIA] будет повсюду».

Соглашение между NVIDIA и Arm вызывает опасения у регулирующих органов, в том числе может ли оно поставить под угрозу успешный лицензионный бизнес Arm. У Arm есть сотни лицензий со своими партнерами, в число которых помимо конкурентов AMD и Intel входят такие гиганты, как Apple, Qualcomm и Broadcom. Также существуют серьезные опасения антимонопольного законодательства по поводу нового контроля NVIDIA над рынком мобильных процессоров.

SmartNIC:перенос обработки на периферию

Во-вторых, на виртуальной конференции VMworld 2020 в конце сентября VMware анонсировала проект Monterey, призванный обеспечить улучшенную производительность искусственного интеллекта с помощью технологии SmartNIC (или смарт-карты сетевого интерфейса) и устройств обработки данных (DPU) NVIDIA. Проект «Монтерей» предполагает партнерство с несколькими компаниями, включая NVIDIA, для развития инфраструктуры для поддержки приложений искусственного интеллекта на периферии.

Monterey перекладывает задачи гипервизора, сети, безопасности и хранения с центрального процессора на NVIDIA BlueField DPU. Перенос этой обработки на DPU и SmartNics может пересылать AI, машинное обучение и другие приложения, ориентированные на данные.

SmartNIC запускает задачи, не связанные с приложениями, от ЦП сервера, поэтому сервер может быстрее запускать больше приложений.

«В целом наблюдается волна интереса к приближению вычислений к данным, - сказал Александр Харроуэлл, старший аналитик Omdia.

«Он перемещает абстракцию гипервизора с хоста в сеть… и перекладывает часть работы, которую выполняет сам гипервизор, на эту карту», ​​- сказал Харроуэлл. «Это делает доступной большую вычислительную мощность, за которую вы заплатили. Итак, здесь есть история о переходе от классической модели Intel x86 к так называемой Гарвардской вычислительной модели ».

Харроуэлл отметил, что эта тенденция к распределенным вычислениям будет быстро развиваться и обеспечивать более сложную обработку, такую ​​как обработка искусственного интеллекта.

«Выгружая большую часть этой работы ввода-вывода на ядро ​​Arm и используя разгрузку оборудования в этих SmartNIC, - сказал Грег Лавендер, старший вице-президент и технический директор VMware, - вы можете разгрузить эту обработку и даже освободить до 30% ЦП ... и отдайте это приложению, чтобы [оно] получило выгоду от этих дополнительных вычислительных ресурсов и ресурсов памяти.

Для рынка подключенных устройств перенос обработки вниз по стеку в эти распределенные периферийные архитектуры станет большим преимуществом для процессов, требующих большого объема данных, для которых требуется быстрое время отклика.

«Теперь, когда вы можете заниматься искусственным интеллектом на периферии, вы можете превратить IoT в нечто с реальными возможностями, - сказал Леви из NXP.

>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>

Чтобы узнать больше о Industrial IoT, примите участие в выставке Industrial IoT World в декабре этого года.