Intel предлагает нейроморфный чип Loihi 2 и программную среду

Intel представила свой нейроморфный вычислительный чип второго поколения, Loihi 2, первый чип, построенный на основе технологического процесса Intel 4. Loihi 2, созданный для исследования передовых нейроморфных нейронных сетей, содержит ряд улучшений. Они включают новый набор инструкций для нейронов, который обеспечивает большую программируемость, позволяя пикам иметь целочисленные значения, превышающие 1 и 0, и возможность масштабирования в трехмерные сетки микросхем для более крупных систем.

Производитель микросхем также представил Lava, программный фреймворк с открытым исходным кодом для разработки приложений, основанных на нейронах. Intel надеется привлечь нейроморфных исследователей к разработке Lava, которая после запуска и запуска позволит исследовательским группам опираться на результаты работы друг друга.

Loihi - это версия Intel того, как должно выглядеть нейроморфное оборудование, разработанное для нейронных сетей (SNN), вдохновляемых мозгом. SNN используются в вычислениях на основе событий, в которых синхронизация входных пиков кодирует информацию. Как правило, всплески, которые появляются раньше, имеют больший вычислительный эффект, чем всплески, которые появляются позже.

Нейроморфный процессор второго поколения Intel Loihi 2. (Источник:Intel)

Одним из ключевых различий между нейроморфным оборудованием и стандартными процессорами является детальное распределение памяти, то есть память Loihi встроена в отдельные ядра. Поскольку всплески Loihi зависят от времени, архитектура является асинхронной.

«В нейроморфных вычислениях вычисления возникают благодаря взаимодействию между этими динамическими элементами», - пояснил Майк Дэвис, директор лаборатории нейроморфных вычислений Intel. «В данном случае нейроны обладают динамическим свойством онлайн-адаптации к входным данным, которые они получают, и программист может не знать точную траекторию шагов, которые чип пройдет, чтобы прийти к ответу.

«Он проходит через динамический процесс самоорганизации своих состояний и переходит в какое-то новое состояние. Эта последняя фиксированная точка, как мы ее называем, или состояние равновесия - это то, что кодирует ответ на проблему, которую вы хотите решить », - добавил Дэвис. «Так что это кардинально отличается от того, как мы думаем о вычислениях в других архитектурах».

Чипы Loihi первого поколения до сих пор были продемонстрированы в различных исследовательских приложениях, включая адаптивное управление манипулятором робота, где движение адаптируется к изменениям в системе, уменьшая трение и износ руки. Loihi может адаптировать свой алгоритм управления для компенсации ошибок или непредсказуемого поведения, позволяя роботам работать с желаемой точностью. Loihi также использовался в системе, распознающей различные запахи. В этом сценарии он может изучать и обнаруживать новые запахи намного эффективнее, чем эквивалент на основе глубокого обучения. Проект с Deutsche Bahn также использовал Loihi для планирования поездов. Система быстро реагировала на такие изменения, как закрытие путей или остановка поездов.

Функции второго поколения

Loihi 2, созданный на основе предварительной версии процесса Intel 4, направлен на повышение программируемости и производительности без ущерба для энергоэффективности. Как и его предшественник, он обычно потребляет около 100 мВт (до 1 Вт).

Увеличение плотности ресурсов - одно из самых важных изменений; хотя в чипе по-прежнему 128 ядер, количество нейронов увеличивается в восемь раз.

«Обеспечение большего объема памяти, нейронов и синапсов в одном чипе имеет важное значение для коммерческой жизнеспособности ... и их коммерциализации таким образом, чтобы это было целесообразно для приложений клиентов», - сказал Дэвис.

щелкните, чтобы увидеть полноразмерное изображение

Особенности Loihi 2. (Источник:Intel)

С Loihi 1 рабочие нагрузки часто отображались на архитектуру неоптимальным образом. Например, количество нейронов часто достигало максимума, пока была доступна свободная память. Объем памяти в Loihi 2 в целом такой же, но разбит на более гибкие банки памяти. Дополнительное сжатие было добавлено к параметрам сети, чтобы минимизировать объем памяти, необходимый для больших моделей. Это освобождает память, которую можно перераспределить для нейронов.

В результате Loihi 2 может решать большие проблемы с тем же объемом памяти, обеспечивая примерно 15-кратное увеличение пропускной способности нейронной сети на миллиметр ² площади кристалла - учитывая, что площадь кристалла в целом уменьшилась вдвое благодаря новой технологии производства.

Программируемость нейронов

Программируемость - еще одна важная архитектурная модификация. Нейроны, которые ранее выполняли фиксированные функции, хотя и были конфигурируемыми, в Loihi 1 получают полный набор инструкций в Loihi 2. Набор инструкций включает общие инструкции арифметики, сравнения и управления программой. Такой уровень программируемости позволит более эффективно использовать различные типы SNN.

«Это своего рода микрокод, который позволяет нам программировать практически произвольные модели нейронов», - сказал Дэвис. «Это покрывает пределы Loihi [1], и там, где мы обычно находим большую прикладную ценность, можно разблокировать еще более сложные и богатые нейронные модели, чего мы не ожидали в начале Loihi. Но теперь мы можем охватить весь спектр нейронных моделей, которые наши партнеры пытаются исследовать, и то, что [предлагает] и характеризует область вычислительной нейробиологии ».

Матрица Loihi 2 - это первая матрица, изготовленная с использованием опытной версии технологического процесса Intel 4. (Источник:Intel)

Для Loihi 2 идея шипов также была обобщена. Loihi 1 использовал строгие бинарные шипы, чтобы отразить то, что наблюдается в биологии, где шипы не имеют величины. Вся информация представлена ​​синхронизацией всплесков, и более ранние всплески будут иметь больший вычислительный эффект, чем более поздние всплески. В Loihi 2 шипы несут настраиваемую целочисленную полезную нагрузку, доступную для модели программируемого нейрона. Хотя биологический мозг этого не делает, Дэвис сказал, что для Intel было относительно легко добавить кремниевую архитектуру без ущерба для производительности.

«Это тот случай, когда мы отходим от строгой биологической верности, особенно потому, что мы понимаем, какова ее важность, аспект временного кодирования», - сказал он. «Но [мы поняли], что можем добиться большего успеха, и мы можем решить те же проблемы с меньшими ресурсами, если у нас будет этот дополнительный объем, который может быть направлен вместе с этим всплеском».

Обобщенный обмен сообщениями на основе событий является ключом к поддержке Loihi 2 глубокой нейронной сети, называемой сигма-дельта нейронной сетью (SDNN), которая намного быстрее, чем подход по времени, используемый в Loihi 1. SDNN вычисляют значения градуированной активации таким же образом. что и обычные DNN, но сообщают только о значительных изменениях, поскольку они происходят в редкой, управляемой событиями манере.

3D-масштабирование

Loihi 2 считается в 10 раз быстрее своего предшественника на уровне схем. По словам Дэвиса, в сочетании с функциональными улучшениями конструкция позволяет увеличить скорость до 10 раз. Loihi 2 поддерживает минимальные временные шаги для кристалла менее 200 нс; он также может обрабатывать нейроморфные сети до 5000 раз быстрее, чем биологические нейроны.

Новый чип также имеет порты масштабируемости, которые позволяют Intel масштабировать нейронные сети в третьем измерении. Без внешней памяти, на которой можно было бы запускать большие нейронные сети, Loihi 1 требовалось несколько устройств (например, в системе микросхем Intel 768-Loihi, Pohoiki Springs). Плоские сетки микросхем Loihi 1 стали трехмерными сетками в Loihi 2. Между тем, пропускная способность от кристалла к кристаллу была улучшена в четыре раза, благодаря сжатию и новым протоколам, обеспечивающим одну десятую избыточного пикового трафика, передаваемого между микросхемами. Дэвис сказал, что для большинства рабочих нагрузок суммарное увеличение емкости составляет примерно 60 раз, что позволяет избежать узких мест, вызванных межкристальными связями.

Также поддерживается трехфакторное обучение, популярное в передовых исследованиях нейроморфных алгоритмов. Та же самая модификация, которая сопоставляет третьи факторы с конкретными синапсами, может использоваться для аппроксимации обратного распространения, метода обучения, используемого в глубоком обучении. Это создает новые способы обучения с помощью Loihi.

Loihi 2 будет доступен исследователям как однокристальная плата для разработки периферийных приложений (Oheo Gulch). Он также будет предлагаться в виде платы с восемью микросхемами, предназначенной для масштабирования для более требовательных приложений. (Источник:Intel)

Лава

Программный фреймворк Lava завершает усовершенствования Loihi. Этот проект с открытым исходным кодом доступен сообществу нейроморфных исследователей.

«Программное обеспечение продолжает сдерживать развитие рынка», - сказал Дэвис. «За последние несколько лет не было большого прогресса, не такими темпами, как в аппаратном обеспечении. И не было появления единой программной среды, как мы видели в мире глубокого обучения, где у нас есть TensorFlow и PyTorch, набирающие огромный импульс и базу пользователей ».

Хотя у Intel есть портфель приложений, продемонстрированных для Loihi, совместное использование кода группами разработчиков было ограничено. Из-за этого разработчикам сложнее развить прогресс, достигнутый в других областях.

Дэвис сказал, что Lava, продвигаемая как новый проект, а не как продукт, предназначена для создания инфраструктуры, поддерживающей исследователей Loihi, работающих над рядом алгоритмов. Хотя Lava нацелена на асинхронную передачу сообщений на основе событий, она также будет поддерживать гетерогенное выполнение. Это позволяет исследователям разрабатывать приложения, которые изначально работают на процессорах. Имея доступ к оборудованию Loihi, исследователи могут затем отображать части рабочей нагрузки на нейроморфный чип. Надеюсь, что такой подход поможет снизить порог входа.

«Мы видим необходимость в конвергенции и общем развитии здесь для достижения этой более великой цели, которая будет необходима для коммерциализации нейроморфных технологий», - сказал Дэвис.

Loihi 2 будет использоваться исследователями, разрабатывающими передовые нейроморфные алгоритмы. Первоначально исследователям будет доступна однокристальная система Oheo Gulch для лабораторных испытаний, а затем Kapoho Point, восьмичиповая версия системы Loihi 2 системы Kapoho Bay. Kapoho Point включает интерфейс Ethernet, позволяющий штабелировать платы для таких приложений, как робототехника, требующих большей вычислительной мощности.

Lava доступна для скачивания на GitHub.

>> Эта статья изначально была опубликована на нашем дочернем сайте EE Times.

---

Связанное содержание:

• Обоснование использования нейроморфных чипов для вычислений искусственного интеллекта
• Нейронная сеть нацелена на микросхемы Arm
• Усовершенствованные микросхемы искусственного интеллекта, основанные на новейших технологиях памяти.
• Дебют нейроморфных ИИ-чипов для пикового развития нейронных сетей.
• Задача сравнительного анализа нейроморфных вычислений.

Чтобы получить больше информации о Embedded, подпишитесь на еженедельную рассылку Embedded по электронной почте.