Чип ИИ подключается к сети через облачный сервис

Микросхема тензорного потокового процессора (TSP) Groq теперь доступна для ускорения рабочих нагрузок ИИ клиентов в облаке. Поставщик облачных услуг Nimbix теперь предлагает ускорение машинного обучения на оборудовании Groq в качестве услуги по запросу только для «избранных клиентов».

Хотя существует несколько стартапов, создающих микросхему искусственного интеллекта для центров обработки данных, Groq теперь присоединяется к Graphcore в качестве единственных двух, у которых есть коммерческие ускорители, которые клиенты могут использовать как часть облачной службы. Graphcore ранее объявила, что ее ускорители доступны как часть Microsoft Azure.

«Упрощенная архитектура обработки Groq уникальна, обеспечивает беспрецедентную детерминированную производительность для вычислительных нагрузок и является захватывающим дополнением к нашей облачной платформе искусственного интеллекта и глубокого обучения», - сказал Стив Хеберт, генеральный директор Nimbix.

Groq - это всего лишь второй запуск ускорителя AI, который делает свое оборудование доступным в облаке (Изображение:Groq)

Чип Groq TSP, выпущенный прошлой осенью, способен выполнять огромные 1000 TOPS (1 пета операций в секунду). Недавние результаты, опубликованные компанией, показывают, что чип может выполнять 21 700 логических выводов в секунду для логических выводов ResNet-50 v2, что, по данным Groq, более чем вдвое превышает производительность сегодняшних систем на базе графических процессоров. Эти результаты показывают, что архитектура Groq является одним из самых быстрых, если не самым быстрым, коммерчески доступным процессором нейронной сети.

«Эти результаты ResNet-50 являются подтверждением того, что уникальная архитектура Groq и подход к ускорению машинного обучения обеспечивают значительно более высокую производительность логического вывода, чем наши конкуренты», - сказал Джонатан Росс, соучредитель и генеральный директор Groq. «Эти реальные доказательства, основанные на стандартных отраслевых тестах, а не на моделировании или аппаратной эмуляции, подтверждают измеримый прирост производительности приложений машинного обучения и искусственного интеллекта, который стал возможным благодаря технологиям Groq».

Groq заявляет, что его архитектура может обеспечить массовый параллелизм, необходимый для ускорения глубокого обучения, без дополнительных затрат на синхронизацию, характерных для традиционных архитектур ЦП и ГП. Функции управления были удалены из кристалла и переданы компилятору в рамках программного подхода Groq. Это приводит к полностью предсказуемой, детерминированной операции, управляемой компилятором, что позволяет полностью оценить производительность во время компиляции.

Еще одна важная особенность, которую следует отметить, заключается в том, что преимущество Groq в производительности не зависит от пакетной обработки - распространенного метода в центрах обработки данных, где одновременно обрабатываются несколько выборок данных для повышения пропускной способности. Согласно Groq, его архитектура может достичь максимальной производительности даже при batch =1, что является общим требованием для приложений логического вывода, которые могут работать с потоком данных, поступающим в режиме реального времени. В то время как микросхема Groq TSP обеспечивает умеренное преимущество в 2,5 раза по сравнению с графическими процессорами при больших размерах партии, при партии =1 преимущество приближается к 17 раз, сообщает компания.