Революционный ИИ-чип превосходит возможности транзисторов, обеспечивая огромную вычислительную мощность

Электроника и датчики INSIDER

Исследователи из Принстона полностью переосмыслили физику вычислений, чтобы создать чип для современных рабочих нагрузок искусственного интеллекта. И при новой поддержке правительства США они увидят, насколько быстрым, компактным и энергоэффективным может стать этот чип. На фото выше ранний прототип. (Изображение:Хунъян Цзя/Принстонский университет)

Крупнейшая исследовательская организация Министерства обороны сотрудничает с Принстонским университетом в разработке передовых микрочипов для искусственного интеллекта.

По словам Навина Вермы, профессора электротехники и вычислительной техники, новое оборудование переосмысливает чипы для современных рабочих нагрузок, которые могут запускать мощные системы искусственного интеллекта, потребляя гораздо меньше энергии, чем самые совершенные сегодня полупроводники. Верма, который возглавит проект, сказал, что достижения преодолевают ключевые барьеры, которые мешают чипам для искусственного интеллекта, включая размер, эффективность и масштабируемость.

Чипы, требующие меньше энергии, можно использовать для работы ИИ в более динамичных средах:от ноутбуков и телефонов до больниц, автомагистралей, низкой околоземной орбиты и за ее пределами. Чипы, на которых работают самые продвинутые модели сегодня, слишком громоздки и неэффективны для работы на небольших устройствах, поэтому их применение в основном ограничивается серверными стойками и большими центрами обработки данных.

Теперь Агентство перспективных исследовательских проектов Министерства обороны (DARPA) объявило, что поддержит работу Вермы, основанную на наборе ключевых изобретений его лаборатории, грантом в 18,6 миллиона долларов. Финансирование DARPA будет стимулировать исследование того, насколько быстрым, компактным и энергоэффективным может стать новый чип.

«Существует довольно важное ограничение:лучший доступный искусственный интеллект просто находится в центре обработки данных», — сказал Верма. «Вы открываете его благодаря этому, и способы, которыми мы можем получить выгоду от ИИ, просто взрываются».

Это объявление стало частью более широких усилий DARPA по финансированию «революционных достижений в науке, устройствах и системах» для следующего поколения вычислений с использованием искусственного интеллекта. Программа под названием OPTIMA включает в себя проекты нескольких университетов и компаний. В конкурсе заявок на участие в программе общий объем финансирования оценивается в 78 миллионов долларов, хотя DARPA не раскрыло ни полный список учреждений, ни общую сумму финансирования, предоставленного программой на сегодняшний день.

В рамках проекта, возглавляемого Принстоном, исследователи будут сотрудничать со стартапом Вермы EnCharge AI. Компания EnCharge AI, базирующаяся в Санта-Кларе, Калифорния, занимается коммерциализацией технологий, основанных на открытиях лаборатории Вермы, включая несколько ключевых статей, которые он написал в соавторстве с аспирантами-электротехниками еще в 2016 году.

Верма основал EnCharge AI в 2022 году вместе с Кайлашем Гопалакришнаном, бывшим научным сотрудником IBM, и Эчере Ироага, лидером в области разработки полупроводниковых систем.

Гопалакришнан сказал, что инновации в существующих вычислительных архитектурах, а также улучшения в кремниевых технологиях начали замедляться именно в то время, когда ИИ начал предъявлять огромные новые требования к вычислительной мощности и эффективности. Даже лучший графический процессор (GPU), используемый для запуска современных систем искусственного интеллекта, не может устранить узкие места в памяти и вычислительной мощности, с которыми сталкивается отрасль. «Хотя графические процессоры сегодня являются лучшим доступным инструментом, — сказал он, — мы пришли к выводу, что для раскрытия потенциала искусственного интеллекта потребуется новый тип чипов».

По словам Вермы, которая также является директором Центра инноваций в инженерном образовании Келлера в Принстонском университете, в период с 2012 по 2022 год объем вычислительной мощности, необходимой для моделей ИИ, вырос примерно на один миллион процентов. Чтобы удовлетворить спрос, новейшие чипы содержат десятки миллиардов транзисторов, каждый из которых разделен толщиной небольшого вируса. И все же чипы по-прежнему недостаточно плотны по своей вычислительной мощности для современных нужд.

Ведущие сегодня модели, сочетающие в себе большие языковые модели с компьютерным зрением и другими подходами к машинному обучению, были разработаны с использованием более триллиона переменных каждая. Графические процессоры, разработанные Nvidia, которые способствовали буму искусственного интеллекта, стали настолько ценными, что, как сообщается, крупные компании перевозят их на бронированных автомобилях. Задержки в покупке или аренде этих чипов практически исчезают.

Когда Nvidia стала лишь третьей компанией, когда-либо достигшей оценки в 2 триллиона долларов, Wall Street Journal сообщил, что быстро растущая доля растущих доходов компании приходится не на разработку моделей, называемых обучением, а на чипы, которые позволяют использовать системы искусственного интеллекта после того, как они уже обучены. Технологи называют этот этап развертывания выводом. И именно здесь, по словам Вермы, его исследование будет иметь наибольший эффект в ближайшей и среднесрочной перспективе.

«Все дело в децентрализации ИИ, высвобождении его из центра обработки данных», — сказал он. «Он должен переместиться из центра обработки данных в места, где мы и важные для нас процессы можем получить наибольший доступ к вычислениям, а это телефоны, ноутбуки, фабрики и тому подобное».

Чтобы создать чипы, способные справляться с современными рабочими нагрузками искусственного интеллекта в компактных средах или средах с ограниченным энергопотреблением, исследователям пришлось полностью переосмыслить физику вычислений при проектировании и упаковке оборудования, которое можно было бы производить с использованием существующих технологий производства и которое будет хорошо работать с существующими вычислительными технологиями, такими как центральный процессор.

«Модели искусственного интеллекта резко возросли в размерах, — сказал Верма, — и это означает две вещи». Чипы искусственного интеллекта должны стать гораздо более эффективными в математических вычислениях и более эффективными в управлении и перемещении данных.

Их подход состоит из трех ключевых частей.

Базовая архитектура практически каждого цифрового компьютера построена по обманчиво простой схеме, впервые разработанной в 1940-х годах:хранить данные в одном месте, выполнять вычисления в другом. Это означает перемещение информации между ячейками памяти и процессором. За последнее десятилетие Верма стал пионером в исследовании обновленного подхода, при котором вычисления выполняются непосредственно в ячейках памяти, называемого вычислениями в памяти. Это часть первая. Обещают, что вычисления в памяти сократят время и энергию, необходимые для перемещения и обработки больших объемов данных.

Но до сих пор цифровые подходы к вычислениям в памяти были весьма ограничены. Верма и его команда обратились к альтернативному подходу:аналоговым вычислениям. Это вторая часть.

«В особом случае вычислений в памяти вам нужно не только эффективно выполнять вычисления, — сказал Верма, — вам также нужно делать их с очень высокой плотностью, потому что теперь они должны помещаться внутри этих очень крошечных ячеек памяти». Вместо того, чтобы кодировать информацию в виде последовательности нулей и единиц и обрабатывать эту информацию с помощью традиционных логических схем, аналоговые компьютеры используют более богатую физику устройств. Кривизна шестерни. Способность провода удерживать электрический заряд.

Цифровые сигналы начали заменять аналоговые сигналы в 1940-х годах, главным образом потому, что двоичный код лучше масштабировался по мере экспоненциального роста вычислительной техники. Но цифровые сигналы не затрагивают глубоко физику устройств, и в результате они могут требовать большего объема хранения и управления данными. В этом отношении они менее эффективны. Аналоговый метод получает свою эффективность за счет обработки более тонких сигналов с использованием внутренней физики устройств. Но это может привести к снижению точности.

«Главное — найти правильную физику для работы в устройстве, которое можно очень хорошо контролировать и производить в больших масштабах», — сказал Верма.

Его команда нашла способ выполнять высокоточные вычисления, используя аналоговый сигнал, генерируемый конденсаторами, специально разработанными для включения и выключения с высочайшей точностью. Это третья часть. В отличие от полупроводниковых устройств, таких как транзисторы, электрическая энергия, проходящая через конденсаторы, не зависит от переменных условий, таких как температура и подвижность электронов в материале. «Они зависят только от геометрии», — сказал Верма. «Они зависят от пространства между одной металлической проволокой и другой металлической проволокой». А геометрия — это то, чем современные технологии производства полупроводников могут очень хорошо управлять.

Источник