Что подводит ИИ к краю

В 2020 году мы прогнозируем, что в 2020 году будет продано более 750 миллионов периферийных микросхем ИИ - микросхем или частей микросхем, которые выполняют или ускоряют задачи машинного обучения на устройстве, а не в удаленном центре обработки данных - с выручкой в ​​2,6 млрд долларов США. Кроме того, рынок периферийных микросхем ИИ будет расти намного быстрее, чем рынок микросхем в целом. К 2024 году мы ожидаем, что продажи периферийных ИИ-чипов превысят 1,5 миллиарда, возможно, намного. Это представляет собой ежегодный рост продаж в единице продукции не менее чем на 20%, что более чем вдвое превышает долгосрочный прогноз в 9% CAGR для всей полупроводниковой промышленности.

Эти периферийные микросхемы искусственного интеллекта, вероятно, найдут свое применение во все большем числе потребительских устройств, таких как смартфоны, планшеты, интеллектуальные колонки и носимые устройства высокого класса. Они также будут использоваться на нескольких корпоративных рынках:роботы, камеры, датчики и другие устройства IoT (Интернет вещей) в целом.

Потребительский рынок ИИ-чипов намного больше, чем корпоративный рынок, но он, вероятно, будет расти медленнее, с ожидаемым среднегодовым темпом роста 18% в период с 2020 по 2024 год. Корпоративный рынок ИИ-чипов растет намного быстрее, с прогнозируемым среднегодовым темпом роста. 50% за тот же период.

Тем не менее, прямо сейчас, в 2020 году, рынок потребительских устройств, вероятно, будет составлять более 90 процентов рынка периферийных микросхем ИИ, как с точки зрения количества проданных устройств, так и их долларовой стоимости. Подавляющее большинство этих периферийных ИИ-чипов пойдет на высокопроизводительные смартфоны, на которые приходится более 70 процентов всех потребительских ИИ-чипов, используемых в настоящее время. Следовательно, в 2020 году и в течение следующих нескольких лет рост ИИ-чипов будет определяться в основном смартфонами. Мы полагаем, что в 2020 году более трети рынка смартфонов объемом 1,56 миллиарда единиц могут иметь периферийные микросхемы искусственного интеллекта.

Из-за чрезвычайно интенсивных требований к процессору почти все вычисления AI выполнялись удаленно в центрах обработки данных, на основных корпоративных устройствах или на периферийных процессорах связи, а не локально на устройствах. Чипы Edge AI все меняют. Они физически меньше, относительно недороги, потребляют гораздо меньше энергии и выделяют гораздо меньше тепла, что позволяет интегрировать их в портативные устройства, а также в устройства, не относящиеся к потребителю, такие как роботы. Позволяя этим устройствам выполнять ресурсоемкие вычисления AI локально, периферийные микросхемы AI сокращают или устраняют необходимость отправки больших объемов данных в удаленное место, тем самым обеспечивая преимущества в удобстве использования, скорости, безопасности и конфиденциальности данных.

Сохранение обработки на устройстве лучше с точки зрения конфиденциальности и безопасности; личная информация, которая никогда не покидает телефон, не может быть перехвачена или использована не по назначению. А когда в телефоне установлен крайний ИИ-чип, он может делать все это, даже если он не подключен к сети.

Конечно, не все вычисления AI должны выполняться локально. Для некоторых приложений отправка данных для обработки удаленным массивом ИИ может быть адекватной или даже предпочтительной - например, когда слишком много данных для обработки периферийным ИИ-чипом устройства. Фактически, большую часть времени ИИ будет выполняться гибридным образом:часть на устройстве, а часть в облаке. Предпочтительный микс в любой конкретной ситуации будет варьироваться в зависимости от того, какой именно вид обработки искусственного интеллекта необходимо выполнить.

Рис. 1. Места, в которых можно использовать интеллектуальные данные (Изображение:Deloitte Insights)

Экономика передового ИИ в смартфонах

Смартфоны - не единственные устройства, в которых используются периферийные микросхемы искусственного интеллекта; другие категории устройств - планшеты, носимые устройства, умные колонки - также содержат их. В краткосрочной перспективе эти устройства, не являющиеся смартфонами, вероятно, будут иметь гораздо меньшее влияние на продажи периферийных ИИ-чипов, чем смартфоны, либо потому, что рынок не растет (как для планшетов), либо потому, что он слишком мал, чтобы иметь существенное значение ( например, ожидается, что в 2020 году будет продано всего 125 миллионов единиц умных динамиков и носимых устройств). Однако многие носимые устройства и умные динамики зависят от периферийных микросхем искусственного интеллекта, поэтому их распространение уже велико.

Рис. 2. Рынок микросхем Edge AI (Изображение:Deloitte Insights)

В настоящее время только самые дорогие смартфоны - те, которые находятся в верхней трети ценового распределения - могут использовать периферийные микросхемы AI. Установка ИИ-чипа в смартфон не обязательно должна быть чрезмерно высокой для потребителя.

Можно получить довольно точную оценку передового ИИ-чипа смартфона. На сегодняшний день изображения процессоров телефонов Samsung, Apple и Huawei показывают голый кремниевый кристалл со всеми видимыми функциями, что позволяет определить, какие части микросхем используются для каких функций. Снимок чипа Exynos 9820 от Samsung показывает, что около 5% общей площади чипа отведено под процессоры AI. Стоимость процессора приложений SoC в целом оценивается в 70,50 долларов США, что является вторым по стоимости компонентом телефона (после дисплея), что составляет около 17% от общей стоимости материалов устройства. Если предположить, что часть AI стоит так же, как и остальные компоненты в расчете на площадь кристалла, периферийный блок нейронной обработки AI Exynos (NPU) составляет примерно 5% от общей стоимости чипа. Это составляет около 3,50 долларов США каждый.

Рис. 3. Снимок чипа Exynos 9820 от Samsung показывает, что около 5% общей площади чипа отведено под процессоры AI. (Изображение:ChipRebel, Аннотация:AnandTech)

Точно так же чип Apple A12 Bionic выделяет около 7% площади кристалла для машинного обучения. Приблизительно 72 доллара за весь процессор, это предполагает стоимость периферийного ИИ в 5,10 доллара. Чип Huawei Kirin 970, оцененный производителем в 52,50 доллара, отводит 2,1% кристалла NPU, что предполагает его стоимость в 1,10 доллара. (Площадь кристалла - не единственный способ измерить, какой процент от общей стоимости чипа идет на ИИ. По данным Huawei, NPU Kirin 970 имеет 150 миллионов транзисторов, что составляет 2,7% от общей суммы в 5,5 миллиарда транзисторов. предлагаем немного более высокую стоимость NPU - 1,42 доллара США).

Рис. 4. Чип Apple A12 Bionic выделяет около 7% площади кристалла для машинного обучения. (Изображение:TechInsights / AnandTech)

Хотя этот диапазон затрат широк, можно предположить, что NPU стоят в среднем 3,50 доллара за чип. Если умножить на полмиллиарда смартфонов (не говоря уже о планшетах, динамиках и носимых устройствах), то это означает большой рынок, несмотря на низкую цену за чип. Что еще более важно, при средней стоимости в 3,50 доллара для производителя и вероятном минимуме в 1 доллар добавление выделенного периферийного ИИ NPU к микросхемам обработки смартфонов становится легкой задачей. При условии нормальной наценки добавление 1 доллара к стоимости производства для конечного потребителя дает только 2 доллара больше. Это означает, что NPU и сопутствующие им преимущества - улучшенная камера, автономная голосовая поддержка и т. Д. - можно поместить даже в смартфон за 250 долларов, что приведет к увеличению цены менее чем на 1%.

Источники ИИ-чипов:собственные или сторонние?

Компании, производящие смартфоны и другие типы устройств, используют разные подходы к получению периферийных микросхем искусственного интеллекта, причем решение определяется такими факторами, как модель телефона и (иногда) географическое положение. Некоторые покупают чипы прикладного процессора / модема у сторонних компаний, которые специализируются на производстве и продаже их производителям телефонов, но не производят свои собственные телефоны. Qualcomm и MediaTek - два ярких примера; В совокупности эти две компании захватили примерно 60 процентов рынка чипов SoC для смартфонов в 2018 году.

И Qualcomm, и MediaTek предлагают ряд SoC по разным ценам; хотя не все из них включают в себя периферийный ИИ-чип, более дорогие предложения (включая Qualcomm Snapdragon 845 и 855 и Helio P60 от MediaTek) обычно включают. С другой стороны, Apple вообще не использует внешние микросхемы AP:она разрабатывает и использует свои собственные процессоры SoC, такие как чипы A11, A12 и A13 Bionic, каждый из которых имеет периферийный ИИ.

Другие производители устройств, такие как Samsung и Huawei, используют гибридную стратегию, покупая некоторые SoC у поставщиков микросхем на коммерческом рынке и используя свои собственные чипы (например, Exynos 9820 от Samsung и Kirin 970/980 от Huawei) для остального.

Более 50 компаний-акселераторов ИИ соперничают за передовой ИИ на предприятиях и в промышленности

Если периферийные процессоры ИИ, используемые в смартфонах и других устройствах, настолько хороши, почему бы не использовать их и для корпоративных приложений? Фактически, это уже произошло для некоторых случаев использования, например, для некоторых автономных дронов. Оснащенный процессором приложений SoC для смартфонов, дрон может выполнять навигацию и предотвращать препятствия в реальном времени и полностью на устройстве, без подключения к сети вообще.

Однако чип, оптимизированный для смартфона или планшета, не является правильным выбором для многих корпоративных или промышленных приложений. Как обсуждалось ранее, крайняя ИИ-часть SoC смартфона составляет всего около 5% от общей площади, около 3,50 долларов от общей стоимости и будет потреблять примерно на 95 процентов меньше энергии, чем вся SoC. Что, если бы кто-то построил чип, в котором было только граничная часть ИИ (вместе с несколькими другими необходимыми функциями, такими как память), которая стоила меньше, потребляла меньше электроэнергии и была меньше?

Что ж, у них есть. Всего около 50 различных компаний работают над различными ускорителями искусственного интеллекта. Автономные периферийные микросхемы ИИ, доступные в 2019 году, были нацелены на разработчиков, которые покупали их по одному по цене около 80 долларов каждый. В объемах в тысячи или миллионы долларов эти чипы, вероятно, будут стоить производителям устройств гораздо меньше:некоторые всего лишь 1 доллар (или, возможно, даже меньше), некоторые - десятки долларов. На данный момент мы предполагаем, что средняя стоимость составит около 3,50 долларов США при использовании ИИ-чипа на краю смартфона в качестве прокси.

Помимо того, что автономные периферийные ИИ-процессоры относительно недороги, они обладают тем преимуществом, что они малы. Они также имеют относительно низкую мощность, потребляя от 1 до 10 Вт. Для сравнения:кластер центра обработки данных (хотя и очень мощный) из 16 графических процессоров и двух процессоров стоит 400 000 долларов, весит 350 фунтов и потребляет 10 000 ватт энергии.

С такими микросхемами, которые находятся в разработке, периферийный ИИ может открыть много новых возможностей для предприятий, особенно в отношении приложений Интернета вещей. Используя периферийные микросхемы ИИ, компании могут значительно расширить свои возможности анализа, а не просто сбора данных с подключенных устройств и преобразования этого анализа в действия, избегая при этом затрат, сложности и проблем безопасности, связанных с отправкой огромных объемов данных в облако. Проблемы, которые могут помочь решить микросхемы искусственного интеллекта, включают:

Безопасность и конфиденциальность данных . Сбор, хранение и перемещение данных в облако неизбежно подвергает организацию угрозам кибербезопасности и конфиденциальности, даже если компании проявляют бдительность в отношении защиты данных. С течением времени этот чрезвычайно важный риск становится еще более важным, и устранение его становится все более серьезным. Правила в отношении информации, позволяющей установить личность, появляются в разных юрисдикциях, и потребители все больше осведомляются о данных, которые собирают предприятия, причем 80 процентов из них заявляют, что не считают, что компании делают все возможное для защиты конфиденциальности потребителей. Некоторые устройства, такие как умные динамики, начинают использоваться в таких учреждениях, как больницы, где конфиденциальность пациентов регулируется еще более строго.

Позволяя обрабатывать большие объемы данных локально, периферийные микросхемы ИИ могут снизить риск перехвата или неправомерного использования личных или корпоративных данных. Камеры видеонаблюдения с обработкой машинного обучения, например, могут снизить риски конфиденциальности, анализируя видео, чтобы определить, какие сегменты видео являются релевантными, и отправляя только те в облако. Микросхемы машинного обучения также могут распознавать более широкий спектр голосовых команд, поэтому в облаке нужно анализировать меньше звука. Более точное распознавание речи может предоставить дополнительный бонус, помогая умным динамикам более точно определять «пробуждающее слово», предотвращая прослушивание несвязанного разговора.

Низкая скорость подключения. Устройство должно быть подключено для обработки данных в облаке. Однако в некоторых случаях подключение устройства нецелесообразно. Возьмем, к примеру, дроны. Поддержание связи с дроном может быть затруднено в зависимости от того, где он работает, а само соединение и загрузка данных в облако могут сократить срок службы батареи. В Новом Южном Уэльсе, Австралия, дроны со встроенным машинным обучением патрулируют пляжи, чтобы обезопасить пловцов. Они могут идентифицировать пловцов, захваченных риптидами, или предупреждать пловцов об акулах и крокодилах перед нападением - и все это без подключения к Интернету.

(Слишком) большие данные. Устройства Интернета вещей могут генерировать огромные объемы данных. Например, самолет Airbus A-350 имеет более 6000 датчиков и генерирует 2,5 терабайта данных каждый день в полете. Во всем мире камеры видеонаблюдения создают около 2500 петабайт данных в день. Отправка всех этих данных в облако для хранения и анализа является дорогостоящим и сложным. Эту проблему может решить установка процессоров машинного обучения на конечных точках, будь то датчики или камеры. Камеры, например, могут быть оснащены блоками обработки изображений (VPU), маломощными процессорами SoC, специализированными для анализа или предварительной обработки цифровых изображений. Благодаря встроенным периферийным микросхемам искусственного интеллекта устройство может анализировать данные в режиме реального времени, передавать только то, что необходимо для дальнейшего анализа в облаке, и «забывать» все остальное, снижая стоимость хранилища и пропускную способность.

Ограничения мощности. Микросхемы машинного обучения с низким энергопотреблением могут позволить даже устройствам с небольшими батареями выполнять вычисления AI без чрезмерного потребления энергии. Например, чипы Arm встраиваются в респираторные ингаляторы для анализа данных, таких как объем легких при вдохе и поток лекарства в легкие. Анализ искусственного интеллекта выполняется на ингаляторе, а затем результаты отправляются в приложение для смартфона, помогая медицинским работникам разработать индивидуальный подход к лечению пациентов с астмой. В дополнение к доступным в настоящее время маломощным периферийным ИИ-NPU компании работают над разработкой «крошечного машинного обучения»:глубокого обучения на таких небольших устройствах, как микроконтроллеры. Google, например, разрабатывает версию TensorFlow Lite, которая может позволить микроконтроллерам анализировать данные, сжимая то, что необходимо отправить за пределы кристалла, в несколько байтов.

Требования к низкой задержке. Выполнение вычислений AI в удаленном центре обработки данных в проводной или беспроводной сети означает задержку приема-передачи не менее 1–2 миллисекунд в лучшем случае и десятки или даже сотни миллисекунд в худшем случае. Выполнение ИИ на устройстве с использованием периферийного ИИ-чипа сократит это время до наносекунд, что критично для применений, когда устройство должно собирать, обрабатывать и обрабатывать данные практически мгновенно. Например, автономные транспортные средства должны собирать и обрабатывать огромные объемы данных от систем компьютерного зрения для идентификации объектов, а также от датчиков, которые контролируют функции транспортного средства. Затем они должны немедленно преобразовать эти данные в решения - когда повернуть, тормозить или ускоряться - чтобы действовать безопасно. Для этого автономные транспортные средства должны обрабатывать большую часть данных, которые они собирают в самом транспортном средстве. Низкая задержка также важна для роботов, и она станет еще важнее, когда роботы выйдут из заводских настроек, чтобы работать вместе с людьми.

Итог:периферийный ИИ будет иметь жизненно важное значение для приложений с большим объемом данных

Распространение периферийных микросхем искусственного интеллекта, вероятно, приведет к значительным изменениям как для потребителей, так и для предприятий. Для потребителей крайние микросхемы AI могут предоставить множество функций - от разблокировки телефона до разговора с его голосовым помощником, до создания потрясающих фотографий в чрезвычайно сложных условиях и без необходимости подключения к Интернету.

Но в долгосрочной перспективе большее влияние на периферийные микросхемы ИИ может оказать их использование на предприятии, где они могут позволить компаниям вывести свои IoT-приложения на совершенно новый уровень. Интеллектуальные машины на базе микросхем ИИ могут помочь расширить существующие рынки, угрожать действующим компаниям и изменить порядок распределения прибыли в таких отраслях, как производство, строительство, логистика, сельское хозяйство и энергетика. Возможность сбора, интерпретации и немедленного реагирования на огромные объемы данных имеет решающее значение для многих приложений с большим объемом данных, которые, по мнению футуристов, становятся все более распространенными:видеонаблюдение, виртуальная реальность, автономные дроны и транспортные средства и многое другое. Это будущее в значительной степени зависит от того, что станет возможным благодаря периферийным микросхемам искусственного интеллекта:привнесение интеллекта в устройство.

Дункан Стюарт и Джефф Лаукс работают в Центре технологий, медиа и телекоммуникаций компании Deloitte. Эта статья основана на статье, изначально опубликованной Deloitte для отчета TMT Predictions 2020.