Zebra от Mipsology превращает GPU ИИ‑код в FPGA‑ускорители одной командой

Стартап по ИИ‑софту Mipsology партнерствует с Xilinx для раскрытия полного потенциала FPGA для ИИ‑рабочих нагрузок. Их «zero‑effort» решение Zebra транслирует существующий GPU‑код для запуска на кастомном ИИ‑вычислительном движке Mipsology на FPGA — без изменений кода или переобучения.

Сегодня Xilinx поставляет Zebra с последней сборкой своего дата‑центрового ускорителя Alveo U50, добавляя бесшовную GPU‑to‑FPGA конвертацию к устройству из коробки. Zebra уже ускоряет инференс на других платах Xilinx, включая Alveo U200 и Alveo U250.

Последняя сборка дата‑центрового ускорителя Xilinx Alveo U50 теперь поставляется с софтом Mipsology Zebra, позволяя GPU ИИ‑коду бежать на FPGA (Изображение: Xilinx)

«Ускорение, которое Zebra доставляет на наших Alveo картах, пересвечивает CPU и GPU», — сказал Рамин Роун, вице‑президент маркетинга Xilinx. «С Zebra Alveo U50 удовлетворяет требования гибкости, производительности, высокой пропускной способности и низкой латентности ИИ‑рабочих нагрузок, делая его убедительным выбором для любого развертывания».

Plug‑and‑Play FPGA

Исторически FPGA воспринимались как сложные для программирования, особенно для не‑специалистов. Видение Mipsology — сделать FPGA plug‑and‑play платформой — столь же простой в использовании как CPU или GPU. Цель — позволить пользователям переключаться с традиционных ускорителей на FPGA одной строкой кода.

«Mipsology по сути — CUDA для FPGA», — сказал CEO Людовик Ларзул в интервью EE Times. «Мы предоставляем софт, абстрагирующий FPGA, так что ИИ‑пользователи могут фокусироваться на модели, а не на железе».

Критически, этот переход доступен не‑экспертам. Не нужно глубокой ИИ‑экспертизы или знаний FPGA, и модель не должна переобучаться.

«Простота использования первостепенна. Многие ИИ‑проекты управляются командами, не имеющими ин‑хаус ИИ или FPGA‑специалиста», — объяснил Ларзул. «Они могут разрабатывать нейросети где‑то еще, и как только модель обучена, хотят деплоить ее без редизайна».

Стек Zebra. Технология охватывает дата‑центр, край и встраиваемые случаи использования (Изображение: Mipsology)

Почему не Vitis?

Xilinx уже предлагает Vitis — комплексный тулчейн для привнесения FPGA к дата‑сайентистам и разработчикам. Зачем партнерствовать с третьей стороной? Ларзул говорит, ответ прост: производительность и простота.

«Мы делаем лучше», — сказал он. «И мы делаем это правильно».

Zebra Mipsology полностью независим от Vitis, XDNN или нейросетевого ускорителя Xilinx. Вместо этого он бежит на выделенном вычислительном движке, нативно поддерживающим существующие сверточные нейросети (CNN) клиентов. В противовес, XDNN, хоть и способен, менее приспособлен к кастомным сетям и может быть громоздким для интеграции.

«Мы позиционируемся, чтобы FPGA могли составить конкуренцию GPU лоб в лоб, совпадая с ними в производительности, стоимости и удобстве», — добавил Ларзул.

Стек Zebra в деталях. Мы скрываем железную сложность, делая FPGA бесшовным переключением от GPU или CPU (Изображение: Mipsology)

Стоимость — первичный драйвер для многих клиентов. «Они хотят более низкие железные затраты без редизайна сети», — сказал Ларзул. «Устраняя переобучение и модификацию сети, мы режем non‑recurring engineering затраты».

FPGA также предлагают превосходную надежность. Потому что они потребляют меньше кремниевой площади и работают при более низких температурах чем GPU, они несут более низкие долгосрочные затраты на обслуживание — важное соображение для операторов дата‑центров.

«Total cost of ownership включает больше чем просто цену платы», — подчеркнул Ларзул. «Это также покрывает поддержание системы оперативной».

Zebra спроектирован для закрытия производительного разрыва. Хотя FPGA типично выдают меньше тера‑операций в секунду (TOPS) чем другие ускорители, вычислительный движок Zebra максимизирует эффективность. «Наш FPGA может обрабатывать больше изображений в секунду чем GPU с в шесть раз большим TOPS», — утверждал Ларзул.

Как это достигнуто? Хотя специфические детали проприетарны, Ларзул заметил, что Zebra избегает прунинга (что деградировало бы точность без переобучения) и держится от экстремальной квантизации ниже 8‑бит, сохраняя верность модели.

Помимо CNN — доминирующих в образе и видео задачах — Zebra также поддерживает BERT, NLP‑модель Google, разделяющую базовые математические структуры. Будущие релизы могут нацелиться на LSTM и RNN архитектуры, хотя они представляют дополнительные вызовы.

Команда за Zebra

Основанная в 2015, Mipsology нанимает около 30 R&D инженеров во Франции, с легкой бизнес‑девелопмент сквадой в Калифорнии. Компания привлекла $7 млн, включая $2 млн награду от французского правительственного инновационного конкурса в 2019.

Ядро таланта Mipsology пришло из EVE, фирмы ASIC‑эмуляции, приобретенной Synopsys в 2012 за их ZeBu верификационные продукты. Технология EVE — использующая тысячи взаимосвязанных FPGA для репликации поведения ASIC — использовалась крупными ASIC‑вендорами по всему миру.

С 12 патентами в процессе, Mipsology тесно работает с Xilinx и остается совместимой с третье‑парти ускорительными картами, такими как Western Digital small‑form‑factor (SFF U.2) и Advantech Vega‑4001.

>> Эта статья изначально публиковалась на нашем сестринском сайте, EE Times.