Магнитные нейроморфные вычисления повышают эффективность ИИ до человеческого уровня

Магниты помогают ИИ достичь человеческой эффективности в распознавании объектов

Исследователи разработали новые сети, использующие меньше энергии и памяти для выполнения задач, аналогичных вычислениям мозга.

Электрическая динамика нейронов очень похожа на коммутационную динамику наномагнита. Коммутационное поведение, проявляемое магнитными туннельными контактами, имеет стохастическую природу. Поскольку это поведение представляет собой сигмоидное коммутационное поведение нейрона, магнитный контакт может использоваться для хранения синаптических весов.

Используя это исключительное свойство магнитов, исследователи из Университета Порду разработали метод, который может помочь роботам на базе искусственного интеллекта (ИИ) достичь человеческой эффективности в распознавании объектов.

Метод заключается в объединении магнетизма с мозгоподобными сетями для обучения машин — дронов, беспилотных автомобилей и роботов — лучшей генерализации по отношению к различным объектам.

Новый алгоритм

Импульсные нейронные сети (SNN) предоставляют перспективную альтернативу для реализации интеллектуальных нейроморфных систем, которым требуются меньше вычислительных ресурсов, чем традиционным нейросетям. Эти сети кодируют и передают данные в виде разреженных импульсных событий.

В этом исследовании исследователи использовали пластичность, зависящую от времени спайков (STDP), для разработки нового стохастического обучающего алгоритма под названием Stochastic-STDP. Это глубокая остаточная сверточная SNN, названная ReStoCNet, состоящая из бинарных ядер для памятьеэффективных нейроморфных вычислений.

Источник: Frontiers | doi:10.3389/fnins.2019.00189 | Purdue University

Используя внутреннее стохастическое поведение магнитов, исследователи стохастически переключали фазу намагниченности на основе нового алгоритма. Затем они использовали обученные синаптические веса во время вывода, которые детерминированно кодировались в фазе намагниченности наномагнита.

Правило вероятностного обучения на основе STDP включает геббовские и антигеббовские подходы для обучения бинарных ядер, составляющих ReStoCNet, поэтапным неуправляемым способом для иерархического извлечения признаков входных данных.

Источник: Purdue University

Команда использовала магниты с высоким энергетическим барьером для создания компактных стохастических примитивов и возможности использования того же устройства как стабильного элемента памяти.

Они подтвердили эффективность ReStoCNet на двух различных открытых наборах данных и показали, что остаточные связи позволяют глубоким сверточным слоям изучать ценные высокоуровневые признаки входных данных и минимизировать потери, возникающие в SNN без остаточных связей.

Практическая польза

Новая сеть способна представлять как нейроны, так и синапсы, уменьшая количество энергии и памяти, необходимых для выполнения задач, аналогичных вычислениям мозга.

Эти мозгоподобные сети могут решать сложные оптимизационные задачи, такие как раскраска графика и задача коммивояжера. Стохастические устройства, представленные в этой работе, могут функционировать как «естественный отжигатель» и помочь алгоритмам выбираться из локальных минимумов.

Более конкретно, ReStoCNet с памятьеэффективным вероятностным обучением и событийно-управляемыми вычислениями хорошо подходит для реализации нейроморфного оборудования на базе CMOS и стохастических передовых технологий устройств, таких как память с фазовым изменением (PCM) и резистивная оперативная память (ReRAM), что повышает эффективность памяти в устройствах, питающихся от батарей.