Ускорение глубокого обучения с FPGA: скорость, гибкость и энергоэффективность

Ускорение глубокого обучения с FPGA: скорость, гибкость и энергоэффективность

Недавно я посетил 2018 Xilinx Development Forum в Кремниевой долине, где открыл Mipsology, стартап, претендующий на решение ИИ-связанных вызовов развертывания нейросетей на поле-программируемых гейтовых массивах (FPGA). Основанный с дерзким видением, Mipsology демонстрирует, как FPGA могут ускорить любую нейросеть до максимально возможной производительности, не скованные традиционными ограничениями развертывания.

Используя новые платы Xilinx Alveo, Mipsology достиг более 20 000 изображений в секунду через набор популярных сетей, включая ResNet-50, Inception-V3 и VGG-19.

Что такое нейросети и глубокое обучение?

Нейросети, вдохновленные паутиной нейронов человеческого мозга, формируют фундамент глубокого обучения (DL). DL — математический фреймворк, который учится выполнять задачи автономно, экспонируя сеть к большим объемам данных. Процесс обучения нейросети — представление ей миллионов размеченных примеров — следует инференс, где обученная модель предсказывает результаты для новых данных.

Например, сеть распознавания речи может быть обучена на тысячах голосовых записей и затем развернута для транскрибации говоренных слов в реальном времени.

Почему инференс требует экстремальной производительности

Инференс требует миллиардов или триллионов сложений и умножений в секунду — намного больше чем обучение, которое происходит только раз. Следовательно, инференс — первичный драйвер вычислительного спроса в производственных ИИ системах.

Четыре аппаратных варианта для инференса глубокого обучения

Инженеры традиционно опирались на четыре категории процессоров, ранжированных от самых энергозатратных и наименее гибких: CPU → GPU → FPGA → ASIC. Таблица ниже суммаризирует ключевые различия.

Сравнение CPU, GPU, FPGA и ASIC для DL вычислений (Источник: Lauro Rizzatti)

• CPU предлагают максимальную гибкость но страдают от высокой латентности и низкой пропускной способности для DL нагрузок.
• GPU доставляют массивный параллелизм но потребляют значительную мощность и требуют надежного охлаждения.
• ASIC могут быть экстремально эффективны для узкой задачи, однако их длинный цикл разработки и фиксированная архитектура делают их несовместимыми для быстро эволюционирующих моделей.
• FPGA комбинируют высокую пропускную способность, низкое потребление энергии и переконфигурируемость, делая их идеальными для динамических инференс нагрузок.

Почему FPGA превосходят в инференсе

Современные FPGA содержат миллионы логических элементов, тысячи DSP блоков и встроенную память и ARM ядра — все работающие параллельно. Один тактовый цикл может триггерить миллионы одновременных операций, позволяя триллионам вычислений в секунду, которые натурально мапятся на DL нагрузки.

Ключевые преимущества FPGA над CPU и GPU включают:

• Поддержку произвольной точности данных, позволяя низкоточную арифметику, бустящую пропускную способность.
• Энергопотребление в 5-10 раз ниже чем сопоставимые CPU или GPU решения для идентичных нагрузок.
• Переконфигурируемость: то же устройство может быть обновлено для поддержки новых моделей без фабрикации нового кремния.
• Масштабируемость устройства: от высококлассных дата-центр карт до компактных edge модулей, FPGA подходят широкий спектр сценариев развертывания.

Вызовы и компромиссы

Несмотря на их сильные стороны, FPGA представляют крутую кривую обучения. Разработка высокопроизводительных дизайнов требует специализированных языков описания железа и глубокого понимания параллелизма, что может быть барьером для команд, привыкших к software-центричным рабочим процессам.

Тем не менее, для организаций требующих комбинацию скорости, гибкости и энергоэффективности, FPGA представляют наиболее убедительную платформу для глубокого обучения инференса сегодня.