Qualcomm готовит Edge AI, предлагая

Спустя почти 18 месяцев после первого анонса ускорителя Cloud AI 100 AI, Qualcomm опубликовала несколько дополнительных сведений о форм-факторах решения, в которых будет доступен этот чип, и несколько показателей производительности для этих карт. Мобильный кремниевый гигант сообщил, что окончательный кремний Cloud AI 100 находится в производстве и поступит в продажу в первой половине 2021 года.

Cloud AI 100 был запущен почти 18 месяцев назад в апреле 2019 года. В то время как Qualcomm доминирует на рынке процессоров для смартфонов с линейкой Snapdragon, предложения Qualcomm для серверов ранее не пользовались популярностью - линейка Centriq на базе Arm была прекращена в 2018 году, всего через год после запуск. Поэтому производитель мобильных кремний видит Cloud AI 100 как выход на рынок граничных серверов.

Cloud AI 100 от Qualcomm нацелен на почти граничные приложения, включая корпоративные центры обработки данных и инфраструктуру 5G (Изображение:Qualcomm)

Форм-факторы

Хотя многие детали чипа Cloud AI 100 все еще остаются в секрете, теперь мы знаем, что изначально он будет доступен для трех типов карт. Это двойной форм-фактор M.2 Edge (DM.2e), который предлагает более 50 TOPS при 15 Вт, двойная карта M.2 (DM.2), настроенная на 200 TOPS при 25 Вт, и карта PCIe. который составляет около 400 TOPS при 75 Вт. (Qualcomm отметила, что это «сырые» цифры TOPS, теоретический максимум и не отражают вычислительные мощности, которые могут быть достигнуты в реальном приложении).

Qualcomm, похоже, перенесла свои навыки в области проектирования процессоров с низким энергопотреблением из мобильного пространства на рынок периферийных ускорителей искусственного интеллекта. Хотя дизайн Cloud AI 100 не основан на блоках ускорения AI, имеющихся в процессорах Snapdragon, показатели производительности на ватт кажутся впечатляющими. Слайды, показанные Qualcomm во время брифинга для СМИ, содержали график, показывающий, что версия Cloud AI 100 с картой PCIe превосходит многие самые популярные отраслевые решения, потребляя при этом лишь малую часть мощности. По данным Qualcomm, это измеренные показатели производительности по сравнению с официально опубликованными показателями других поставщиков.

щелкните, чтобы увеличить изображение

Resnet-50 AI-выводов в секунду для популярного оборудования для AI-выводов в зависимости от энергопотребления, согласно данным Qualcomm. Карты Qualcomm особенно хороши, когда дело касается энергоэффективности. Размер партии равен 8 для всех точек на графике, кроме Nvidia A100. (Изображение:Qualcomm)

«В Qualcomm у нас есть давние традиции исследований и разработок в области искусственного интеллекта, - сказал Джон Керли, старший директор по управлению продуктами Qualcomm. «На самом деле мы находимся в нашем решении пятого поколения для мобильных устройств, у нас более 11 лет очень активных исследований и разработок. Итак, мы используем эти знания, отраслевой опыт, но это другое ядро ​​искусственного интеллекта, это не то же самое, что мобильный, но мы используем это пространство ».

Cloud AI 100 - это ускоритель вывода, содержащий до 16 ядер процессора AI, которые поддерживают INT8, INT16, FP16 и FP32. Он построен по 7-нм техпроцессу FinFET. На кристалле имеется до 144 МБ SRAM - 128 МБ совместно используются ядрами, при этом каждое ядро ​​имеет дополнительный 1 МБ. Карта поддерживает до 32 ГБ DRAM на уровне карты с пропускной способностью памяти 4x 64 LPDDR4x с частотой до 2,1 ГГц.

Пограничные приложения

Cloud AI 100 можно использовать для систем компьютерного зрения, речи, автономного вождения, языкового перевода и рекомендаций. Сегодня Qualcomm позиционирует свой кремний Cloud AI 100 для логического вывода AI на четырех ключевых рынках. Это центры обработки данных за пределами облака, ADAS, периферийные блоки 5G и инфраструктура 5G.

Логический вывод ИИ в центрах обработки данных на границе облака обеспечивает работу всего, от механизмов рекомендаций, используемых для показа рекламы и персонализации новостных лент, до более требовательных к вычислительным ресурсам вычислений ИИ для конкретных приложений.

То, что Qualcomm называет «периферийными устройствами 5G», больше похоже на локальные встроенные автономные устройства. Они могут быть развернуты как часть инфраструктуры умного города на телеграфных столбах или на предприятиях и использоваться для управления приложениями умного города, общественной безопасности и управления дорожным движением.

Производная от Cloud AI 100 используется для обработки ИИ для автономного вождения на платформе Qualcomm Snapdragon Ride (эта производная имеет общую архитектуру и цепочку программных инструментов, сказал Керли).

Приложение Cloud AI 100 в инфраструктуре 5G будет способствовать ускорению сложных алгоритмов, таких как формирование луча, которые теперь используют ИИ для эффективного управления базовыми станциями 5G.

Эталонный дизайн

Qualcomm также анонсировала свой новый комплект разработчика Cloud AI 100. Это включает в себя эталонный дизайн периферийного блока 5G на базе Cloud AI 100, а также приложение Snapdragon 865 и видеопроцессор в качестве хост-процессора (который обеспечивает полный конвейер видео, поддерживающий до 24 потоков декодирования видео в формате Full HD, с запасом для клиента. разработка приложений). В эталонном дизайне также используется предварительно сертифицированный модуль 5G на основе модема Snapdragon X55 5G.

«Это действительно новая возможность для нас, и мы очень рады», - сказал Керли. «Задача [для комплекта разработчика] состоит в том, чтобы клиенты, которые заинтересованы в этом пространстве, могли быстро и легко запустить демонстрационное приложение прямо из коробки - оно даже поставляется с предварительно скомпилированным ResNet-50 в качестве демонстрации».

По словам Керли, периферийный блок 5G, подобный этому, может выполнять локальную аналитику для потоковой передачи видео безопасности в торговом центре или приложения безопасности на производственном предприятии.

Расписание

По словам Керли, первые клиенты, которые воспользуются Cloud AI 100, скорее всего, будут на периферии, в умном городе, розничной торговле и производстве.

«Я ожидаю, что наши первые коммерческие развертывания будут в большей степени на стороне периферии, чем на стороне центра обработки данных, где есть намного, намного более длительный цикл, чтобы запустить его в производство», - сказал он. «Это не означает, что у нас нет значительных возможностей и возможностей, но я ожидаю, что развертывание на периферии 5G будет намного быстрее, а такие вещи, как наш предварительно сертифицированный модуль 5G, значительно упростят это. Многие из этих клиентов, с которыми мы работаем, не являются вашими традиционными мобильными клиентами. Таким образом, предоставляя им уже прошедшее предварительную сертификацию решение, они могут быстро выйти на рынок. Так что [приложения] в этой области будут появляться быстрее ».

Последний полупроводниковый кристалл для Qualcomm Cloud AI 100 запущен в производство, сейчас идет отбор образцов для нескольких клиентов и будет доставлен в течение первой половины 2021 года. Образец комплекта для разработки периферийных устройств будет готов в следующем месяце, но только для избранных клиентов.

>> Эта статья была первоначально опубликована на наш дочерний сайт EE Times.