Qualcomm анонсирует Cloud AI 100: энергоэффективный Edge AI ускоритель для 5G и далее

Почти 18 месяцев после первоначального анонса в апреле 2019 года Qualcomm подтвердила, что кремний Cloud AI 100 в производстве и начнет поставки в первой половине 2021 года. Компания также раскрыла форм-факторы карт и бенчмарки производительности, подчеркивающие готовность к edge-AI нагрузкам.

В то время как Qualcomm долго доминировала на рынке смартфонов линией Snapdragon, ее ранняя серверная линия Centriq была прекращена в 2018 году. Cloud AI 100 знаменует стратегический вход Qualcomm на рынок near-edge серверов, доставляя высокопроизводительный ИИ-инференс с исключительной энергоэффективностью.

Qualcomm Cloud AI 100 спроектирован для near-edge ИИ нагрузок вроде 5G инфраструктуры и предприятийских дата-центров.

Форм-факторы и производительность

Qualcomm изначально предложит Cloud AI 100 в трех форм-факторах карт:

• Dual M.2 Edge (DM.2e) — более 50 TOPS при 15 Вт
• Dual M.2 (DM.2) — 200 TOPS при 25 Вт
• PCIe — до 400 TOPS при 75 Вт

Эти цифры представляют теоретические «сырые» TOPS и не учитывают реальные накладные расходы приложений. Тем не менее, собственные кривые производительности Qualcomm показывают, что PCIe версия перевосходит многие ведущие решения, потребляя лишь долю энергии.

Пропускная способность инференса ResNet-50 против потребления энергии. Карты Qualcomm лидируют в энергоэффективности, с размером батча 8 (кроме Nvidia A100).

«Мы приносим более десятилетие ИИ R&D от наших мобильных платформ в это новое ядро. Хотя архитектура отличается от Snapdragon, экспертиза и производительность на ватт очевидны», — сказал Джон Керли, старший директор управления продуктом Qualcomm.

Архитектура чипа

Cloud AI 100 — инференс-ускоритель, построенный на 7-нм FinFET процессе. Он содержит до 16 ИИ-ядер, поддерживающих INT8, INT16, FP16 и FP32 точность. Кристалл включает 144 МБ on-chip SRAM (128 МБ общих, 1 МБ на ядро) и интерфейсы с до 32 ГБ LPDDR4x DRAM (4×64 LPDDR4x на 2,1 ГГц), доставляя высокую полосу пропускания памяти, необходимую для ИИ-нагрузок.

Целевые применения

Ускоритель адаптирован для широкого спектра edge вариантов использования, включая компьютерное зрение, речь, автономное вождение, перевод языка и рекомендательные движки. Qualcomm позиционирует Cloud AI 100 для четырех основных рынков:

• Дата-центры на крае облака
• Продвинутые системы помощи водителю (ADAS)
• 5G edge-боксы (on-premise, автономные устройства для умных городов и предприятий)
• 5G инфраструктура (ИИ-питаемое beam-forming и оптимизация базовых станций)

В пространстве автономного вождения производная Cloud AI 100 питает платформу Snapdragon Ride Qualcomm, используя ту же архитектуру и программный стек.

Референс-дизайн и Development Kit

Qualcomm представила новый development kit с референс-дизайном для 5G edge-бокса, питанием от Cloud AI 100. Комплект парирует ускоритель с хост-процессором Snapdragon 865, предлагая полные видео-конвейеры, поддерживающие до 24 потоков декодирования full-HD видео. Он также включает предварительно сертифицированный 5G модем Snapdragon X55.

«Этот комплект позволяет клиентам запускать демо-приложения немедленно. Он поставляется предварительно скомпилированным с ResNet-50, обеспечивая быстрый старт для edge AI решений», — подчеркнул Керли.

Временная линия развертывания

Qualcomm ожидает, что начальные коммерческие развертывания сфокусируются на edge сценариях — умные города, розничная аналитика и производство — из-за более коротких циклов сертификации. Семплирование Cloud AI 100 уже идет с избранными клиентами, и development kit будет семплироваться в следующем месяце для ограниченной аудитории.

Примечание: Эта статья была первоначально опубликована на EE Times.