Аппаратные ускорители обслуживают приложения AI

Аппаратные ускорители - специализированные устройства, используемые для выполнения определенных задач, таких как классификация объектов, - все чаще встраиваются в системы на кристалле (SoC), обслуживающие различные приложения ИИ. Они помогают создавать тесно интегрированные пользовательские процессоры, которые обеспечивают меньшее энергопотребление, меньшую задержку, повторное использование данных и локальность данных.

Для начала необходимо аппаратно ускорить алгоритмы ИИ. Ускорители ИИ специально разработаны для ускорения обработки задач ИИ; они выполняют определенные задачи так, как это невозможно с традиционными процессорами.

Более того, ни один процессор не может удовлетворить разнообразные потребности приложений ИИ, и здесь аппаратные ускорители, встроенные в микросхемы ИИ, обеспечивают преимущества в производительности, энергоэффективности и задержке для конкретных рабочих нагрузок. Вот почему нестандартные архитектуры, основанные на ускорителях искусственного интеллекта, начинают ставить под сомнение использование процессоров и графических процессоров для приложений искусственного интеллекта.

Разработчики микросхем ИИ должны определить, что ускорять, как ускорять и как соединить эти функции с нейронной сетью. Ниже приведен снимок ключевых отраслевых тенденций, определяющих использование аппаратных ускорителей в развивающихся рабочих нагрузках ИИ. Неизбежно все начинается с ускорителей ИИ, доступных для интеграции в различные чипы и карты ИИ.

IP-адреса AI-ускорителя

Аппаратные ускорители широко используются в микросхемах искусственного интеллекта для сегментации и ускорения задач с интенсивным использованием данных, таких как компьютерное зрение и глубокое обучение, как для приложений обучения, так и для приложений вывода. Эти ядра ИИ ускоряют работу нейронных сетей на таких платформах ИИ, как Caffe, PyTorch и TensorFlow.

Gyrfalcon Technology Inc. (GTI) разрабатывает микросхемы искусственного интеллекта и предоставляет ускорители искусственного интеллекта для использования в пользовательских конструкциях SoC через модель лицензирования IP. Компания-разработчик искусственного интеллекта из Милпитаса, штат Калифорния, предлагает ускорители искусственного интеллекта Lightspeeur 2801 и 2803 для периферийных и облачных приложений соответственно.

Важно отметить, что Gyrfalcon также разработала микросхемы искусственного интеллекта на основе этих аппаратных ускорителей, и это делает эти IP-ускорители искусственного интеллекта проверенными на практике. Чип 2801 AI для периферийных устройств выполняет 9,3 тера операций в секунду на ватт (TOPS / Вт), а его чип 2803 AI для приложений центров обработки данных может обеспечивать 24 TOPS / Вт.

Наряду с инструментами разработки IP и технической документацией Gyrfalcon предоставляет разработчикам искусственного интеллекта ключи USB 3.0 для создания моделей, оценки микросхем и проверки концепции. Лицензиаты могут использовать эти ключи на ПК с Windows и Linux, а также в наборах для разработки оборудования, таких как Raspberry Pi.

Архитектура оборудования

Основная идея ускорителей искусственного интеллекта - обрабатывать алгоритмы быстрее, чем когда-либо прежде, при этом потребляя как можно меньше энергии. Они выполняют ускорение на периферии, в центре обработки данных или где-то посередине. И ускорители ИИ могут выполнять эти задачи в ASIC, графических процессорах, FPGA, DSP или гибридных версиях этих устройств.

Это неизбежно приводит к появлению нескольких архитектур аппаратных ускорителей, оптимизированных для машинного обучения (ML), глубокого обучения, обработки естественного языка и других рабочих нагрузок AI. Например, некоторые ASIC предназначены для работы в глубоких нейронных сетях (DNN), которые, в свою очередь, можно было обучить на графическом процессоре или другом ASIC.

Решающее значение для архитектуры ускорителя ИИ делает тот факт, что задачи ИИ могут выполняться параллельно. Кроме того, дизайн ускорителя искусственного интеллекта переплетается с многоядерной реализацией, и это подчеркивает критическую важность архитектуры ускорителя искусственного интеллекта.

Далее, проекты AI нарезают алгоритмы все тоньше и тоньше, добавляя все больше и больше ускорителей, специально созданных для повышения эффективности нейронной сети. Чем конкретнее вариант использования, тем больше возможностей для детального использования многих типов аппаратных ускорителей.

Здесь стоит упомянуть, что помимо ускорителей искусственного интеллекта, встроенных в специальные микросхемы, карты ускорителей также используются для повышения производительности и сокращения задержек в облачных серверах и локальных центрах обработки данных. Карты ускорителей Alveo от Xilinx Inc., например, могут радикально ускорить поиск в базе данных, обработку видео и анализ данных по сравнению с процессорами ( Рис. 1 ).

Рис. 1. Карты ускорителей Alveo U250 увеличивают пропускную способность логического вывода в реальном времени в 20 раз по сравнению с высокопроизводительными ЦП и сокращают задержку менее 2 мс более чем в 4 раза по сравнению с ускорителями с фиксированной функцией, такими как высокопроизводительные графические процессоры. (Изображение:Xilinx Inc.)

Программируемость

В конструкции ИИ происходит множество динамических изменений, и в результате программные алгоритмы меняются быстрее, чем могут быть спроектированы и изготовлены микросхемы ИИ. Это подчеркивает ключевую проблему для аппаратных ускорителей, которые в таких случаях становятся устройствами с фиксированной функцией.

Поэтому в ускорителях должна быть какая-то программируемость, которая позволяет дизайнерам адаптироваться к меняющимся потребностям. Гибкость дизайна, обеспечиваемая функциями программирования, также позволяет дизайнерам обрабатывать широкий спектр рабочих нагрузок ИИ и топологий нейронных сетей.

Корпорация Intel ответила на этот призыв к программируемости в проектах ИИ, купив израильского разработчика программируемых ускорителей глубокого обучения примерно за 2 миллиарда долларов. Процессор Гауди от Habana для обучения и процессор Goya для вывода предлагают простую в программировании среду разработки ( Рис. 2 ).

Рис. 2. Вот как платформы и инструменты разработки ускоряют разработку микросхем ИИ с помощью обучающих ускорителей Гауди. (Изображение:Habana)

AI на грани

К настоящему времени очевидно, что рынок логических выводов ИИ намного больше, чем обучение ИИ. Вот почему отрасль становится свидетелем оптимизации множества микросхем для широкого спектра рабочих нагрузок ИИ, от обучения до логических выводов.

Это вводит микроконтроллеры (MCU) в сферу разработки AI, которая в остальном в основном ассоциировалась с мощными SoC. Эти микроконтроллеры включают ускорители искусственного интеллекта для обслуживания промышленных устройств с ограниченными ресурсами и периферийных устройств Интернета вещей в таких приложениях, как обнаружение объектов, распознавание лиц и жестов, обработка естественного языка и профилактическое обслуживание.

Возьмем, к примеру, ускоритель Arm Ethos U-55 microNPU ML, который NXP Semiconductors интегрирует в свои микроконтроллеры на базе Cortex-M, кроссоверные микроконтроллеры и подсистемы реального времени в процессорах приложений. Ускоритель Ethos U-55 работает совместно с ядром Cortex-M, что обеспечивает компактность. Его передовые методы сжатия позволяют экономить электроэнергию и значительно уменьшать размеры моделей машинного обучения, чтобы обеспечить выполнение нейронных сетей, которые ранее работали только в более крупных системах.

Среда разработки NXP eIQ ML предоставляет разработчикам ИИ выбор механизмов вывода с открытым исходным кодом. В зависимости от требований конкретного приложения эти ускорители ИИ могут быть включены в различные вычислительные элементы:центральные процессоры, графические процессоры, DSP и NPU.