Синаптическое устройство для захвата заряда ReS2 для приложения для распознавания лиц

Фон

С появлением современных компьютеров широко использовалась структура фон Неймана, в которой арифметический блок отделен от памяти. Такая структура делает передачу данных между арифметическим блоком и памятью узким местом, значительно ограничивая улучшение производительности компьютера [1, 2]. Между тем, как арифметический блок, так и основная память являются энергозависимыми устройствами с высоким потреблением энергии, и информация немедленно исчезнет при отключении питания [3]. Напротив, человеческий мозг представляет собой эффективную систему хранения информации и вычислений с высокой отказоустойчивостью и низким энергопотреблением (около 20 Вт), и он основан на сильно взаимосвязанной, массивно параллельной и структурно изменчивой сложной сети, состоящей из примерно 10 ¹¹ нейронов и 10 ¹⁵ синапсы [4, 5]. Эти нейроны считаются вычислительными двигателями мозга, получающими входные сигналы от тысяч синапсов параллельно. Синаптическая пластичность - это биологический процесс, который изменяет синаптический вес посредством синаптической активности, и он считается источником обучения и памяти [6].

Двумерные (2D) материалы с небольшими размерами и превосходными электронными свойствами, такие как графен, дихалькогениды переходных металлов (TMDC) и черный фосфор, привлекли значительное внимание и были успешно внедрены в синаптические устройства [7, 8]. TMDC с симметричной решеткой, например MoS ₂ и WSe ₂ , широко изучены [9, 10]. С другой стороны, дисульфид рения (ReS ₂ ) с искаженной октаэдрической (1T) кристаллической структурой редко исследовали в нейроморфной области. Большинство TMD имеют прямую запрещенную зону в монослое и непрямую запрещенную зону в мультислое, поэтому для хорошей работы устройства необходим однослойный материал, который трудно получить. Однако ReS ₂ в пределах десяти слоев все считаются имеющими прямую запрещенную зону [11], что означает ReS ₂ в пределах десяти слоев все может работать хорошо. Кроме того, асимметричная структура решетки приводит к более слабой энергии связи между слоями, что способствует работе эксфолиации и, таким образом, значительно упрощает изготовление синаптического устройства [12,13,14,15]. В этом исследовании ReS ₂ пленка используется как канальный материал. Кристаллическая структура монослоя ReS ₂ показан на рис. 1а, где направления a и b обозначают вторую кратчайшую ось и кратчайшую ось в базисной плоскости соответственно. На основе предыдущих научных исследований и множества оптических изображений нашего расслоенного ReS ₂ фильм [13], режиссура b обозначает кристаллографическую ориентацию с наибольшей подвижностью электронов. Чтобы проиллюстрировать электрические характеристики нашего ReS ₂ синаптическое устройство лучше, направление b рассматривается как направление тока в канале, как показано на рис. 1b.

Синаптические устройства на основе ReS ₂ 2D материал. а Кристаллическая структура монослоя ReS ₂ . б Оптическое изображение пятислойного ReS ₂ хлопья. Вставка:электроды истока и стока с рисунком на ReS ₂ хлопья; направление b за направление тока в канале. c Изображение АСМ и профиль высоты ReS ₂ хлопья. г Принципиальная схема 2D материала ReS ₂ синаптическое устройство. Толщина Al ₂ О ₃ , ZrO ₂ , и Al ₂ О ₃ размер стека (снизу) составляет 12 нм, 4 нм и 4 нм соответственно

Было много устройств с различными структурами, которые успешно моделировали синаптическую динамику, например, краткосрочную пластичность (STP), долгосрочную потенциацию (LTP) и долгосрочную депрессию (LTD) [16,17,18]. MoS ₂ Гибридный синапс с гетеропереходом / PTCDA продемонстрировал эффективную двойную фотоэлектрическую модуляцию [10]. Синапс из углеродных нанотрубок [19] и MoS на основе кремния ₂ synapse [20] продемонстрировал динамическую логику. Однако упомянутые исследования были сосредоточены только на синаптическом уровне. В некоторых исследованиях были реализованы различные состояния проводимости, чтобы доказать, что их устройства могут быть использованы для построения искусственных нейронных сетей (ИНС), но они не помещали проводящие состояния в ИНС для расчета [21, 22]. В этой работе модулируются 120 непрерывных состояний проводимости, и соответствующие значения проводимости используются в обученной сети распознавания лиц для расчета; достигнута отличная скорость распознавания 100%.

Методы

Схематическая структура нашего синаптического устройства показана на рис. 1d, где можно увидеть, что пленка ITO (оксид индия и олова) толщиной 70 нм была нанесена на SiO ₂ Подложка / Si в качестве электрода заднего затвора. Подложка представляла собой кремниевую пластину с 200 нм SiO ₂ наверху. Сначала он был очищен ацетоном, изопропиловым спиртом и деионизированной водой, а затем высушен N ₂ газ перед нанесением ITO. Слой ITO был сначала нанесен напылением, а затем отожжен при 400 ° C в N ₂ атмосферу в течение 10 мин путем быстрой термической обработки (RTP). Прозрачные электроды ITO используются для точного изготовления электродов истока и стока с помощью электронно-лучевой литографии. Аль ₂ О ₃ / ZrO ₂ / Al ₂ О ₃ Многослойные структуры толщиной 12 нм, 4 нм и 4 нм были выращены на ITO путем осаждения атомного слоя (ALD) в качестве барьерного слоя, слоя захвата электронов и туннельного слоя соответственно. Затем механически расслоенный ReS ₂ чешуйки толщиной около 3,6 нм осаждались в виде канала под узорчатыми электродами из Ti / Au. Электроды Ti / Au толщиной 10 нм и 70 нм были сформированы с использованием электронно-лучевой литографии с последующим электронно-лучевым испарением в качестве источника и стока соответственно. На рис. 1с показано изображение ReS ₂ толщиной 3,6 нм, полученное с помощью атомно-силового микроскопа. пленка (около пяти слоев); длина канала была рассчитана на 1,5 мкм (см. вставку на рис. 1б). В этой работе задний шлюз ITO действовал как нейрон пресинапса, а электроды Ti / Au действовали как нейрон постсинапса. Между электродами истока и стока подавалось небольшое и постоянное напряжение, а на электрод заднего затвора ITO подавались импульсы для модуляции производительности синаптического устройства.

Результаты и обсуждение

На рисунке 2а показаны передаточные характеристики нашего синаптического устройства при напряжении на заднем затворе 2 В ( В _bg =2 В) при фиксированном напряжении сток-исток ( В _ds ) изменяется от 100 до 700 мВ с шагом 100 мВ. Коэффициент текущей ликвидности более 10 ⁶ можно было наблюдать. Кривая отображает ток сток-исток ( I _ds ), который сначала быстро увеличивался, а затем становился насыщенным; отличные характеристики насыщения соответствовали сильному регулированию канала с помощью электрода заднего затвора ITO. В отличие от традиционных транзисторов, в которых в качестве электрода нижнего затвора используется кремний и SiO ₂ в качестве диэлектрика при рабочем напряжении обычно более 20 В [23] рабочее напряжение нашего синаптического устройства только при расстоянии 20 нм между ReS ₂ канал и электрод заднего затвора ITO были ниже 5 В, что значительно повысило эффективность синаптического устройства. На вставке к рис. 2а показана сверхлинейная зависимость при низком - V _ds режимов, что демонстрирует хороший контакт Шоттки между ReS ₂ канал и электроды истока и стока. Как показано на рис. 2b, I _ds - V _bg кривая гистерезиса может наблюдаться, когда V _bg изменилось с -5 до 5 В, а затем вернулось обратно при постоянном смещении 0,1 В ( V _ds =0,1 В). При измерениях между электродами истока и стока подавалось небольшое постоянное напряжение 0,1 В для «считывания» постсинаптического тока. Окно памяти, служившее основой для синаптической работы, составляло около 3,5 В; такое большое окно памяти сделало наш ReS ₂ устройство очень перспективно для синаптических приложений [24]. Поскольку вершина валентной зоны ZrO ₂ был выше, чем у Al ₂ О ₃ , а дно зоны проводимости было ниже, чем у Al ₂ О ₃ (см. вставку на рис. 2в), ZrO ₂ используемый в качестве промежуточного слоя между оксидом алюминия может эффективно захватывать заряд. Диаграммы энергетических зон при положительном и отрицательном напряжении на затворе показаны на рис. 2c и d соответственно. Когда было приложено положительное напряжение, электроны в ReS ₂ канал сначала будет туннелировать через Al ₂ О ₃ слой туннелирования, затем захватывается ZrO ₂ улавливающий слой. Напротив, когда к ITO применялось отрицательное напряжение, электроны собирались в ZrO ₂ слой будет отправлен в ReS ₂ канал; энергетические полосы изгибаются в направлении канала.

Электрические свойства ReS ₂ синаптические устройства. а Передаточная характеристика ( I _ds - V _bg ) ReS ₂ синаптические устройства при фиксированном V _ds изменяется от 100 до 700 мВ с шагом 100 мВ. б Выходная характеристика ( I _ds - V _ds ) ReS ₂ синаптические устройства при фиксированном V _bg изменяется от -2 до 2 В с шагом 1 В. c Петля гистерезиса при V _bg диапазонов развертки ± 5 В. V _ds поддерживалась на уровне 100 мВ. г Диаграмма энергетических зон ReS ₂ синаптические устройства с положительным обратным напряжением на затворе. На вставке:уровни энергии Al ₂ . О ₃ и ZrO ₂ . е Диаграмма энергетических зон ReS ₂ синаптические устройства с отрицательным обратным напряжением на затворе

На рис. 3а типичный возбуждающий постсинаптический ток (EPSC) был обнаружен после подачи отрицательного входного импульса (с амплитудой - 1 В и длительностью 10 мс) на задний затвор ITO. Кроме того, тормозной постсинаптический ответ на положительный импульс напряжения (с амплитудой 1 В и длительностью 10 мс) наблюдался на рис. 3б, который похож на биологический синапс [25]. Импульсный сигнал от нейрона пресинапса передавался к нейрону постсинапса через синапс и преобразовывался в постсинаптический ток (PSC) [26]. Величина PSC определялась амплитудой и длительностью импульса. При отрицательном импульсе электроны от дефектов ZrO ₂ набрал достаточно энергии для туннелирования через верхний слой Al ₂ О ₃ диэлектрический слой в ReS ₂ канал. Постоянное значение тока было немного выше предыдущего значения (∆PSC =0,04 нА) и могло сохраняться в течение длительного времени. Это явление соответствует долговременной потенциации (ДП) в биологическом синапсе. Однако, когда импульс был положительным, электроны в ReS ₂ канал, туннелированный через Al ₂ О ₃ слоя под действием притяжения электрического поля и были захвачены дефектами ZrO ₂ . Таким образом, постоянное значение тока было немного ниже исходного значения и могло оставаться неизменным в течение длительного времени (∆PSC =0,06 нА). Этот процесс соответствовал длительной депрессии (LTD) в биологическом синапсе. LTP и LTD предоставили физиологический субстрат для обучения и памяти в синаптических устройствах. Когда отрицательные импульсы с амплитудой - 2 В и длительностью 10 мс подавались непрерывно с интервалом между импульсами в 1 с, наблюдался нарастающий ток на двух ступенях, как показано на рис. 3c. Возрастающие значения тока составили 1,6 нА и 1,4 нА соответственно. Следовательно, непрерывный и равномерно нарастающий ток может быть получен при периодических импульсах напряжения затвора, а установившийся ток после стимуляции может длиться долгое время, как показано на рис. 3d. Это открытие послужило основой для получения нескольких стабильных проводящих состояний.

Синаптическая производительность ReS ₂ синаптические устройства. а Возбуждающий постсинаптический ток (EPSC) запускается входным импульсом (-1 В, 10 мс). б Тормозной постсинаптический ток (IPSC) запускается пресинаптическим спайком (1 В, 10 мс). c Пара выходных пиков EPSC, запускаемых двумя последовательными входными импульсами (- 2 В, 10 мс и с интервалом между импульсами в 1 с). г Удерживающие характеристики ReS ₂ синаптические устройства после пресинаптического всплеска - 3 В и 10 мс

На рис. 4а показаны 120 значений тока после подачи 120 отрицательных импульсов с амплитудой - 2 В, длительностью 10 мс и с интервалом между импульсами 1 с. По-видимому, кривая тока показала отличную линейность, в каждом состоянии было получено 120 эффективных высокостабильных состояний проводимости. Разные состояния проводимости соответствовали разным весовым коэффициентам ИНС [27].

Искусственная нейронная сеть для распознавания лиц. а 120 состояний проводимости после подачи 120 отрицательных импульсов (- 2 В, 10 мс и с интервалом между импульсами 1 с). б Трехслойная ИНС с 1024 входными нейронами, 256 скрытыми нейронами и 15 выходными нейронами. c Схема цикла обучения-распознавания

В данной работе предлагается трехслойная искусственная нейронная сеть для задачи распознавания лиц, структура которой представлена ​​на рис. 4б, на котором видно, что входной слой состоит из 1024 нейронов, что соответствует 1024 пикселям изображения, средний (скрытый) слой состоит из 256 нейронов, а выходной слой состоит из 15 нейронов, соответствующих 15 классам лиц.

Предлагаемая ИНС развивается следующим образом. В общей сложности 165 изображений, включая 15 типов изображений из базы данных Yale Face [28], используются для обучения и тестирования ИНС. Восемь изображений каждого типа используются для обучения ИНС, а оставшиеся три изображения каждого типа используются для тестирования ИНС. Учитывая, что модули являются гладкими функциями по отношению к их входам и их внутренним весам, многослойные архитектуры могут быть обучены простым стохастическим градиентным спуском, а градиенты обычно вычисляются с помощью процедуры обратного распространения ошибки [29]. Поэтому мы используем классический алгоритм обратного распространения (BP), чтобы построить нашу сеть и показать, как алгоритм BP работает для нашей ИНС.

В этой работе X _м представляет входной нейрон, поэтому входное значение скрытого нейрона может быть выражено как:

где V _мин представляет значение веса между входным нейроном X _м и скрытый нейрон Y _в , и все V _мин формируют матрицу V, имеющую всего 1024 × 256 весовых значений; начальное значение этой матрицы присваивается случайным образом. Функция активации скрытого слоя - это сигмовидная функция, поэтому выходное значение скрытого нейрона определяется следующим образом:

Таким образом, входное значение выходного нейрона можно выразить как:

где W _нк представляет значение веса между скрытым нейроном Y _на и выходной нейрон Z _ik , и все W _нк сформировать матрицу W с общим количеством весовых значений 256 × 15; начальное значение W _нк также назначается случайным образом. Кроме того, мы используем сигмовидную функцию как функцию активации выходного слоя, так что выходное значение выходного нейрона определяется следующим образом:

Сравнивая рассчитанный выше результат с правильным выводом, можно получить общую ошибку вывода, которая выражается как:

где O _k - правильное выходное значение. Пока что процесс прямого распространения сети полностью описан. Чтобы повысить скорость распознавания, необходим процесс обратного распространения ошибки для вычисления ошибок весов, и они используются для обновления весов сети в следующей итерации.

В приведенных выше математических выражениях ∆V _мин и ∆W _нк соответственно представляют ошибки V _мин и W _нк ; после добавления ошибок к исходному весу мы получаем обновленный вес V _мин ^′ и W _нк ^′ ; μ - скорость обучения, а μ =0,06. После обновления весов новое изображение подается в ИНС, и процесс обновления весов повторяется до тех пор, пока все 120 изображений не будут использованы для обучения. Затем мы используем обученную сеть для идентификации оставшихся 45 изображений и расчета скорости распознавания. Для процесса тестирования ИНС требуется только процесс прямого распространения. Каждое изображение, используемое для тестирования, получает 15 выходных значений после прямого распространения. Выходное значение отражает вероятность того, что входное изображение относится к определенному типу. Выбирается выход с максимальным значением вероятности, и соответствующий тип является типом входного изображения, идентифицированного сетью. Результаты распознавания сравниваются со стандартным выводом; подсчитываются все правильно идентифицированные картинки, и их общее количество составляет n . В каждом цикле обучения-распознавания скорость распознавания r предоставляется:

Как правило, скорость распознавания первого распознавания очень низкая, и в нашей ИНС с 256 скрытыми нейронами скорость первого распознавания составляет всего 17,78%. Вышеупомянутый процесс обучения-распознавания повторяется до тех пор, пока не будет достигнута максимальная скорость распознавания. Полный цикл обучения-распознавания показан на рис. 4в.

Как показано на рис. 5а, в процессе разработки ИНС максимальная скорость распознавания и скорость роста скорости распознавания (скорость обучения) были разными для разного количества скрытых нейронов. Большее количество скрытых нейронов привело к более высокой максимальной скорости распознавания и более высокой скорости нарастания, но также и к увеличению потребления энергии, поэтому придется пойти на определенный компромисс. В случае 256 скрытых нейронов скорость распознавания достигла 100% после 600 итераций обучения, как показано на рис. 5b. Поскольку это определенно была максимальная скорость распознавания, которую можно было достичь, в нашей ИНС мы установили количество скрытых нейронов равным 256. Распределение значений веса после различных циклов обучения-тестирования представлено на рис. 5c, и это указывает на то, что веса стали более разбросанными после большего количества циклов, то есть, чтобы достичь более высокой скорости распознавания, веса в ИНС должны были быть скорректированы. Как только мы достигли максимальной скорости распознавания, матрицы V и W имеющих оптимальное значение веса. Чтобы лучше продемонстрировать, что наш ReS ₂ устройство подходит для применения к ИНС, все значения весов в весовых матрицах V и W были заменены значениями проводимости устройства. Мы использовали I _j ( j =1, 2, 3 ⋯ 120), чтобы представить 120 значений проводимости, которые были получены после 120 циклов, и мы выполнили линейное преобразование исходных значений проводимости, чтобы диапазон проводимости соответствовал диапазону весов, который был задан как:

Реализация распознавания лиц. а Кривая скорости распознавания при разном количестве скрытых нейронов (32, 64, 128 и 256). б Кривая скорости распознавания 256 скрытых нейронов; уровень распознавания достигает 100% после почти 600 эпох обучения и тестирования. c Распределение значений веса после 10-90 (с шагом 20) тренировочных эпох. г Распределение значений веса после 100-600 (с шагом 100) тренировочных эпох. е Узнаваемость после замены; значения веса были заменены после 100 ~ 500 тренировочных эпох (с шагом 100)

где C _j представляет значение веса после линейного преобразования. В случае 600 циклов коэффициенты линейного преобразования были A =1,3769 × 10 ¹⁰ и B =- 65,784. Затем мы вычли каждый C _j от каждого значения веса и заменил значение веса на C _j у которого было наименьшее абсолютное значение после вычитания; а именно, мы рассчитали min | V _мин - С _j |, мин | Вт _нк - С _j | и заменил каждое значение веса соответствующим C _j . Таким образом, мы получили новый V и W матрицы весов, в которых все значения веса были заменены на C _n . Затем мы использовали наши новые весовые матрицы в тестировании ИНС, и была достигнута скорость распознавания ИНС 100%, что доказало, что наши 120 состояний проводимости могут идеально использоваться в качестве весовых значений в ИНС. С целью дальнейшего анализа мы заменили значения веса после 100 ~ 500 тренировочных циклов (с шагом 100), и результаты идентификации, полученные после замены, полностью соответствуют исходному, как показано на рис. 5d. Это доказывает, что эти 120 текущих значений могут идеально заменить более 10 ⁵ значения веса для расчета. Путем дальнейшего увеличения количества импульсов затвора можно было получить больше состояний проводимости, что доказало, что наш ReS ₂ устройство может быть использовано в крупномасштабной нейросетевой системе.

Выводы

В этой работе мы представляем 2D ReS ₂ на основе диэлектрического стека high-k. синаптическое устройство и демонстрируют некоторые фундаментальные синаптические свойства, такие как длительная потенциация и долговременная депрессия. Результаты показывают, что наш ReS ₂ устройство может хорошо имитировать синаптическую работу. Также построена ИНС, чтобы доказать возможность применения предложенного устройства в искусственных нейронных сетях. Применяя 120 периодических импульсов напряжения затвора, получают 120 эффективных, четко различимых состояний проводимости, и они используются для замены более 10 ⁵ веса в ИНС для распознавания лиц. Уровень признания 100% достигается после замены. Этот отличный результат демонстрирует, что наш ReS ₂ синапс можно использовать для создания искусственной нейронной сети.

Доступность данных и материалов

Авторы заявляют, что материалы, данные и соответствующие протоколы доступны читателям, и все данные, использованные для анализа, включены в эту статью.

Сокращения

2D:

Двухмерный

ALD:

Осаждение атомного слоя

ANN:

Искусственная нейронная сеть

LTD:

Длительная депрессия

LTP:

Долгосрочное потенцирование