Edge AI: ускорение на-device интеллекта и трансформация потребительских и корпоративных рынков

В 2020 году аналитики прогнозировали продажу более 750 миллионов edge AI чипов — устройств, выполняющих или ускоряющих машинное обучение непосредственно на железе — генерируя примерно $2,6 млрд выручки. Edge-AI сегмент ожидается опережать широкую полупроводниковую индустрию, с объемами продаж, прогнозируемыми превысить 1,5 млрд к 2024 году, подразумевая годовой темп роста минимум 20% против 9% CAGR для общего рынка.

Эти чипы все чаще находятся в флагманских смартфонах, планшетах, умных колонках, носимых и растущем массиве корпоративного оборудования, включая роботов, камеры, датчики и общие IoT устройства.

Хотя потребительский сегмент остается большим, он прогнозируется расти на 18% CAGR с 2020 по 2024 год, в то время как корпоративный сегмент ожидается ускориться на 50% за тот же период.

В 2020 году потребительские устройства представляли более 90% edge-AI чип рынка по объему и стоимости. Флагманские смартфоны составляли более 70% потребительских единиц в использовании, и более трети из 1,56 млрд поставок смартфонов того года, вероятно, включали edge-AI чип.

Исторически ИИ нагрузки обрабатывались в дата-центрах из-за их вычислительной интенсивности. Edge-AI чипы, однако, меньше, дешевле, потребляют гораздо меньше энергии и производят минимальное тепло — позволяя их интеграцию в портативные устройства и роботов. Обрабатывая данные локально, они снижают латентность, улучшают удобство использования и повышают приватность и безопасность, сохраняя личную информацию на устройстве.

Когда ресурсов устройства недостаточно, может использоваться гибридный подход — комбинирующий on-device и облачную обработку. Оптимальный микс зависит от специфической ИИ нагрузки.

Рисунок 1: Места, где может быть встроен интеллект (Изображение: Deloitte Insights)

Экономика edge AI в смартфонах

Хотя смартфоны доминируют на рынке, другие категории — планшеты, носимые, умные колонки — также включают edge-AI чипы. В 2020 году планшеты были в основном стагнационными, в то время как умные колонки и носимые вместе ожидалось отгрузить только 125 млн единиц, ограничивая их влияние на общие продажи. Тем не менее, проникновение для этих устройств уже высоко.

Рисунок 2: Edge AI чип рынок (Изображение: Deloitte Insights)

В настоящее время только самые дорогие смартфоны — те в верхней трети ценового спектра — склонны иметь edge-AI чипы, однако инкрементная стоимость минимальна.

Изучая кремниевые дай-шоты от Samsung, Apple и Huawei, мы можем приблизить долю SoC, посвященную ИИ. Samsung Exynos 9820, например, посвящает примерно 5% площади дай NPU. С общей стоимостью SoC около $70,50, ИИ часть составляет примерно 5% от этой стоимости, или около $3,50 за чип.

Рисунок 3: Дай-шот Samsung Exynos 9820 показывающий ~5% ИИ площадь (Изображение: ChipRebel, Аннотация: AnandTech)

Apple A12 Bionic выделяет около 7% дай машинному обучению, переводя в оценочную стоимость $5,10. Kirin 970 Huawei посвящает 2,1% площади NPU, предполагая стоимость между $1,10 и $1,42 в зависимости от метрики — площади или счетчика транзисторов.

Рисунок 4: Apple A12 Bionic посвящает ~7% дай машинному обучению (Изображение: TechInsights / AnandTech)

Даже с широким диапазоном стоимости, средняя $3,50 за NPU — разумная оценка. Умноженная на полмиллиарда смартфонов — плюс планшеты, колонки, носимые — объем рынка существенен. Важно, что добавление $1 затрат производства обычно переводится в $2 повышение цены для потребителей, позволяя edge-AI NPU появляться в телефонах по цене $250 без значительного влияния на маржу.

Источники AI чипов: in-house или third-party?

Производители устройств выбирают стратегии источников на основе уровня продукта и географии. Компании вроде Qualcomm и MediaTek поставляют SoC многим производителям, захватывая примерно 60% рынка смартфонных SoC в 2018. Их высшие линии — Snapdragon 845, 855 и Helio P60 MediaTek — обычно включают edge-AI возможности.

Apple, напротив, проектирует свои собственные SoC (A11–A13 Bionic) и встраивает ИИ повсеместно. Samsung и Huawei принимают гибридную модель, покупая некоторые SoC от третьих сторон, в то время как развертывают свои Exynos и Kirin чипы для высших уровней устройств.

Более 50 компаний ускорителей ИИ борются за edge AI в enterprise и индустрии

Пока смартфонные чипы хорошо работают для потребительского использования, многие корпоративные и промышленные приложения требуют более сфокусированных, энергоэффективных решений. NPU, занимающий только ИИ часть SoC, использует на 95% меньше энергии и значительно дешевле полного SoC.

Сегодня более 50 фирм разрабатывают автономные edge-AI ускорители. В 2019 разработчики могли покупать отдельные чипы примерно за $80 каждый. В объемах производители могут приобретать их за $1 до нескольких долларов. Используя смартфонный NPU как прокси, мы предположим среднюю стоимость $3,50.

Автономные чипы не только недороги, но и малы и низкопотребляющие, потребляя между 1 и 10 Вт. В противовес, 16-GPU дата-центровый кластер стоит $400 тыс., весит 350 фунтов и потребляет 10 кВт.

Edge AI дает предприятиям возможность обрабатывать данные локально, снижая необходимость передавать огромные датасеты в облако, резая затраты, упрощая архитектуру и митигируя риски безопасности.

Безопасность данных и приватность

Локальная обработка минимизирует воздействие киберугроз и регуляторного надзора. Например, умные камеры могут анализировать футаж на-device, отправляя только релевантные сегменты в облако, в то время как умные колонки могут уточнять детекцию wake-word для снижения ненужного аудиозахвата.

Низкая связность

Устройства, работающие в средах с плохой сетью — такие как автономные дроны — выигрывают от on-device ИИ, позволяя принятие решений в реальном времени без зависимости от связности.

Массивные объемы данных

IoT развертывания могут генерировать терабайты данных ежедневно. Edge AI может фильтровать и предобрабатывать эти данные, передавая только действенные инсайты, тем самым снижая затраты на хранение и полосу пропускания.

Ограничения энергии

Низкопотребляющие ускорители позволяют маломощным батарейным устройствам, как ингаляторы, анализирующие паттерны использования локально и отправляющие краткие метрики на смартфон. Усилия вроде Google TensorFlow Lite для микроконтроллеров толкают глубокое обучение в микроконтроллеры, позволяя «tiny machine learning».

Требования низкой латентности

On-device вывод устраняет round-trip латентность к дата-центрам, которая может быть критичной для автономных автомобилей, робототехники и других safety-критических приложений.

Итог: edge AI будет жизненно важным для data-heavy приложений

Потребители выиграют от функций вроде безопасного разблокирования устройств, офлайн голосовых ассистентов и высококачественной фотографии без постоянной связности. Для предприятий edge AI может разблокировать новые бизнес-модели, улучшить операционную эффективность и трансформировать индустрии такие как производство, логистика, сельское хозяйство и энергетика, позволяя реальное время, on-device аналитику.

Данкан Стюарт и Джефф Лукс с Центра Deloitte для технологий, медиа и телекоммуникаций. Эта статья основана на статье, изначально опубликованной Deloitte для их TMT Predictions 2020 отчета.