Оптимизация производительности с многочиповыми архитектурами инференса

За последние два года мы видим бурную инновацию в дизайне чипов для инференса. Пока новые решения появляются почти еженедельно, многие компании борются с их сравнением, потому что надежные бенчмарки редки. Доселе вендоры афишировали TOPS или TOPS/Ватт без детализации моделей, размеров батчей или условий эксплуатации, а популярный бенчмарк ResNet-50 слишком упрощен для большинства реальных нагрузок.

Что действительно важно при измерении производительности чипа инференса — это высокая утилизация MAC, низкое потребление энергии и компактная кремниевая площадь. Как только эти метрики понятны, следующим логическим шагом является изучение преимуществ — и подводных камней — развертывания нескольких чипов в одном дизайне.

Почему несколько чипов могут давать линейный прирост

Когда чип спроектирован для параллелизма, масштабирование до двух, четырех или более блоков может теоретически увеличить пропускную способность пропорционально — так же как расширение однополосной трассы до многополосного коридора. Ключ — избежать пробок, выбирая правильный чип и правильно секционируя нейросеть.

Секционирование нейросети между чипами

Нейросети организованы в слои. Каждый слой потребляет выходные активации предыдущего. В глубоких моделях вроде ResNet-50 (50 слоев) или YOLOv3 (более 100 слоев) ранние слои генерируют крупнейшие активации, которые постепенно уменьшаются по мере продвижения по сети.

Для разделения модели между несколькими чипами нужно изучить как размер активаций, так и количество операций Multiply-Accumulate (MAC) на слой. Цель — сбалансировать нагрузку: каждый чип должен обрабатывать сопоставимое число MAC и похожие объемы данных. Если один чип обрабатывает основную работу, а другой простаивает, общая пропускная способность ограничивается медленным блоком.

Кроме того, точка раздела модели определяет данные, которые должны передаваться между чипами. Выбор разделения там, где размер активаций минимален, снижает требования к межчиповой полосе пропускания и задержку, предотвращая превращение коммуникационного канала в узкое горлышко производительности.

Иллюстративный пример: YOLOv3 на двух vs четырех чипах

Для YOLOv3 на изображении 2 мегапикселя с алгоритмом свертки Winograd кумулятивные MAC-операции и размеры выходных активаций показаны ниже. Конфигурация на двух чипах обычно разделяет нагрузку около 50% MAC, что приводит к ~1–2 МБ активаций, передаваемых между чипами. Настройка на четыре чипа разместила бы разрезы примерно на 25%, 50% и 75%, при этом самый ранний разрез часто требовал бы передачу 4–8 МБ данных.

Нажмите для увеличения

Размер выходных активаций (синие столбцы) и кумулятивные MAC-операции (красная линия) для YOLOv3/Winograd/2Mpixel, иллюстрирующие распределение нагрузки по нескольким чипам (Изображение: Flex Logix)

Использование инструментов моделирования производительности

Современные инструменты производительности могут моделировать как однобиповые, так и многочиповые конфигурации. Они учитывают MAC на слой, размеры активаций и влияние полосы пропускания передачи данных. Точное моделирование критично, потому что недостаточная межчиповая полоса пропускания может отрицать теоретический ускорение.

Для четырехчипового конвейера требования к полосе пропускания растут, потому что ранние слои — где активации крупнейшие — должны делиться между всеми блоками. Хотя более высокая полоса пропускания поддерживает больше чипов, она также добавляет накладные расходы, которые каждый чип должен нести, даже если развернут индивидуально.

Заключение

Развертывание нескольких чипов инференса может разблокировать значительные улучшения производительности, но только когда нейросеть секционирована интеллектуально и выбранная архитектура чипа поддерживает высокую утилизацию MAC и эффективное движение данных. Приоритизируйте пропускную способность над заголовочными бенчмарками вроде TOPS или ResNet-50, и проектируйте сеть под сильные стороны чипа. С правильной стратегией вы можете превратить однополосный конвейер инференса в высокопроизводительную систему с низкой задержкой.

— Джефф Тейт, CEO Flex Logix