Обучение без учителя с искусственными нейронами

Мануэль Ле Исследования Галло вдохновят новое поколение чрезвычайно плотных нейроморфных вычислительных систем. (Источник:IBM Research - Цюрих)

Вдохновленная тем, как функционирует человеческий мозг, группа ученых из IBM Research в Цюрихе имитировала всплески нейронов, например, когда мы касаемся горячей пластины. Эти так называемые искусственные нейроны можно использовать для обнаружения закономерностей и выявления корреляций в больших данных с бюджетами мощности и плотностями, сопоставимыми с наблюдаемыми в биологии, что ученые стремились достичь на протяжении десятилетий. Они также могут учиться без присмотра на высоких скоростях, затрачивая очень мало энергии.

Статья под названием «Нейроны со стохастическим фазовым переходом», которая появилась сегодня на обложке журнала Nature Nanotechnology , описывает исследование и его выводы.

Я поговорил с соавтором статьи и исследователем IBM - ученым из Цюриха Мануэлем Ле Галло, который в настоящее время работает над докторской степенью в ETH Zurich.

Как работает искусственный нейрон?

Мануэль Ле Галло: У нейрона есть определенные функции, которые мы называем «интегрировать и запускать». Нейрон действует как аккумулятор - если вы продолжаете посылать нейрону несколько входных данных, он интегрирует все эти входные данные. В зависимости от количества входов и их силы, мембранный потенциал достигнет определенного порога, и нейрон будет «стрелять» или «вспыхивать». Такой аккумулятор можно использовать для выполнения удивительно сложных вычислительных задач.

Как человеческий мозг вдохновляет на создание искусственных нейронов?

ML: Искусственный нейрон создан для имитации того, что делает биологический нейрон. Искусственный нейрон не будет иметь точно таких же функций, но все же достаточно близок, чтобы вы могли выполнять вычисления, выполняемые мозгом, используя эти нейроны. Обычно искусственные нейроны создаются с использованием схем на основе КМОП, стандартной транзисторной технологии, используемой в наших компьютерах. В нашей статье основное внимание уделяется использованию не-CMOS устройств, таких как устройства с фазовым переходом, для воспроизведения аналогичных функций при пониженном энергопотреблении и повышенной плотности записи.

Каков ваш вклад в статью?

ML: Мы получили понимание физики устройства с фазовым переходом из работы по определению характеристик и моделированию, которую я выполнял в течение последних трех лет. Это было крайне важно для создания искусственных нейронов на основе этих устройств и понимания их функций. Кроме того, я получил некоторые экспериментальные данные, представленные в статье, и внес свой вклад в анализ и интерпретацию результатов.

«Мы думаем, что наш подход будет более эффективным, особенно для обработки больших объемов данных».

- Мануэль Ле Галло, научный сотрудник IBM

В каких контекстах можно применять искусственные нейроны?

Крошечный квадраты - это контактные площадки, которые используются для доступа к ячейкам с фазовым переходом в нанометровом масштабе (не видны). Острые зонды касаются контактных площадок, чтобы изменить конфигурацию фазы, хранящуюся в клетках, в ответ на ввод нейронов. Каждый набор зондов может получить доступ к популяции из 100 клеток.

ML: В нашей статье мы демонстрируем, как можно обнаружить корреляции из нескольких потоков событий. Предположим, у вас есть несколько потоков двоичных событий, и вы хотите найти, какие потоки временно коррелированы, например, когда единицы происходят одновременно.

В этой статье мы продемонстрировали, как можно обнаружить корреляции из нескольких потоков событий.

Что вы подразумеваете под событиями?

ML: Событиями могут быть, например, данные Twitter, данные о погоде или сенсорные данные, собранные Интернетом вещей. Предположим, что у вас есть несколько потоков двоичных событий, и вы хотите найти, какие потоки временно коррелированы, например, когда единицы приходят одновременно. В статье мы покажем, как можно сделать это различение, используя всего один нейрон, подключенный к нескольким пластиковым синапсам, принимающим события.

Что делает нейроморфные вычисления более эффективными, чем обычные вычисления?

ML: В обычных вычислениях у нас есть отдельная память и логический блок. Всякий раз, когда вы хотите выполнить вычисление, вы должны сначала получить доступ к памяти, получить свои данные и передать их в логический блок, который возвращает вычисление. И всякий раз, когда вы получаете результат, вы должны отправить его обратно в память. Этот процесс идет непрерывно. Так что, если вы имеете дело с огромными объемами данных, это станет настоящей проблемой.

В нейронной сети вычисления и хранилище совмещены. Вам не нужно устанавливать связь между логикой и памятью; вам просто нужно установить соответствующие связи между разными нейронами. Это основная причина, по которой мы считаем, что наш подход будет более эффективным, особенно для обработки больших объемов данных.

Мануэль Ле Галло приехал в Цюрих, чтобы получить степень магистра электротехники в Швейцарском федеральном технологическом институте (ETH Zurich). Он защитил диссертацию в IBM, где предложение о работе соответствовало его опыту и интересам. В настоящее время он работает над докторской степенью.

Об авторе: Миллиан Герер - летний стажер в IBM Research - Zurich, где он берет интервью у ученых, чтобы узнать больше об их работе и мотивах. Осенью он приступит к изучению компьютерных наук на бакалавриате в Принстонском университете.