Edge AI: Почему обработка данных смещается на уровень устройств

Ключевые выводы:

• Быстрый рост подключенных устройств и объемов данных делает распределенные вычисления необходимыми для скорости, производительности и безопасности данных.
• Стратегические шаги NVIDIA и VMware позволяют запускать ресурсоемкие рабочие нагрузки ИИ и машинного обучения непосредственно на периферии.
• Периферийная обработка приносит ощутимые выгоды во многих отраслях — от промышленного Интернета вещей до потребительских приложений.

С миллиардами датчиков и умных устройств по всему миру традиционные централизованные облачные архитектуры достигают своих пределов. Хотя облачные вычисления произвели революцию в гибкости стартапов и масштабируемости предприятий, новые рабочие нагрузки — такие как видео высокой четкости, автономные транспортные средства и логистика в реальном времени — требуют задержек менее секунды и безопасной обработки данных на месте.

«Клиенты понимают, что перекладывание слишком большей части обработки в облако больше не жизнеспособно», — говорит Маркус Леви, руководитель направления технологий ИИ в NXP Semiconductors, в недавнем обсуждении встроенного ИИ. «Периферия — это то место, где кроется реальная возможность».

Рыночные данные MarketsandMarkets прогнозируют рост рынка периферийных вычислений с 3,6 млрд долларов в 2020 году до 15,7 млрд к 2025 году — более чем в четыре раза, что обусловлено потребностью в обработке с низкой задержкой и высокой пропускной способностью.

Рыночные шаги ускоряют внедрение Edge: NVIDIA

Покупка NVIDIA компании Arm за 40 млрд долларов в сентябре 2020 года стала важным шагом к приближению GPU-ускоренного ИИ к устройствам. Хотя NVIDIA давно доминирует в GPU для центров обработки данных, превосходство Arm в мобильных процессорах — поставляемых Apple, Qualcomm, Broadcom и другим — создает мощную платформу для периферийного ИИ.

Зевс Керравала, аналитик отраслевой исследовательской компании, отмечает: «Если рассматривать ИИ как будущее, основанное на GPU и CPU, способность NVIDIA создавать комплексные системы просто взлетела — особенно в области периферийных вычислений».

Регуляторы внимательно следят за сделкой с точки зрения антитростовых последствий, учитывая обширную лицензионную сеть Arm и растущее влияние NVIDIA на рынке мобильных CPU.

SmartNIC: Перенос интеллекта на периферию

На VMworld 2020 VMware представила Project Monterey — сотрудничество с NVIDIA, использующее SmartNIC и DPU BlueField от NVIDIA для ускорения рабочих нагрузок ИИ на периферии. Перенос функций гипервизора, сети, безопасности и хранения с хост-CPU на DPU позволяет Monterey освободить до 30% тактов CPU для прикладной логики.

Александр Харроуэлл, старший аналитик Omdia, отмечает: «Тренд очевиден: приближение вычислений к данным повышает производительность и эффективность использования ресурсов. SmartNIC переносят ответственность гипервизора в сеть, открывая модель вычислений по Гарвардской архитектуре».

Грег Лавендер, старший вице-президент и CTO VMware, объясняет: «Вынос ввода-вывода и вычислений на ядро Arm в SmartNIC освобождает ресурсы CPU, давая приложениям дополнительные вычислительные мощности и память для более быстрой работы».

Для экосистемы подключенных устройств этот сдвиг позволяет реализовать ИИ в реальном времени — превращая пассивные IoT-устройства в интеллектуальные, отзывчивые системы, как подчеркивает Леви.

Для более подробного освещения промышленного Интернета вещей присоединяйтесь к Industrial IoT World в декабре.