Глубокое обучение для обратного проектирования метаматериалов с кольцевыми резонаторами с расщеплением

Аннотация

Введение «метаматериалов» оказало глубокое влияние на несколько областей, включая электродинамику. Проектирование структуры метаматериала по требованию остается чрезвычайно трудоемким процессом. Как эффективный метод машинного обучения, глубокое обучение в последние годы широко используется для классификации и регрессии данных и показывает хорошую обобщающую способность. Мы построили глубокую нейронную сеть для спроектированного по требованию дизайна. На входе требуемая отражательная способность, на выходе автоматически вычисляются параметры структуры для достижения цели спроектированного по требованию дизайна. Наша сеть достигла низких среднеквадратичных ошибок (MSE): 0,005 на обучающей и тестовой выборках. Результаты показывают, что использование глубокого обучения для обучения данных позволяет обученной модели более точно направлять проектирование структуры, ускоряя процесс проектирования. По сравнению с традиционным процессом, глубокое обучение позволяет быстрее, точнее и удобнее проектировать метаматериалы.

Введение

Нанооптика — междисциплинарная область нанотехнологий и оптики. В последние годы, постоянно проектируя структуры с подволновыми размерами для достижения специального взаимодействия с падающим светом, ученые добились манипулирования определенными передаточными характеристиками света [1–3]. С момента предложения метаматериалов они привлекли внимание многих ученых, и теоретические [4, 5], технологические [6, 7] и прикладные [8] исследования развиваются параллельно. Реализованы многие уникальные функции: голографическое изображение, идеальное поглощение [9], плоские линзы [10]. Благодаря быстрому развитию терагерцовой техники и её уникальным характеристикам, она стала популярной темой в метаматериалах [11–13].

Хотя применение метаматериалов широко, традиционный метод проектирования требует повторных сложных численных расчетов структуры. Этот процесс потребляет огромное время и вычислительные ресурсы. Срочно нужно найти новые пути упрощения или замены традиционных методов.

Машинное обучение — междисциплинарная область, охватывающая биологию, информатику, психологию, цель — использовать компьютеры для имитации и реализации человеческих процессов обучения для получения новых знаний или навыков. Основной принцип: компьютерные алгоритмы для выявления корреляций в больших данных или предсказания закономерностей в похожих данных для классификации или регрессии. Доселе многие алгоритмы МО применялись к проектированию метаматериалов с значительными результатами: генетические алгоритмы [14], линейная регрессия [15], неглубокие нейронные сети. По мере усложнения структур и разнообразия изменений задачи требуют больше времени. Высокая нелинейность затрудняет точные предсказания простыми алгоритмами МО. К тому же, проектирование соответствующей структуры метаматериала для конкретного электромагнитного эффекта требует проб и сложных расчетов, потребляющих много времени и ресурсов.

Как один из выдающихся алгоритмов МО, глубокое обучение достигло мировых успехов в компьютерном зрении [16], извлечении признаков [17], обработке естественного языка [18]. Успехи во многих некомпьютерных областях: биология, химия [19], физика [20, 21]. Применение глубокого обучения к проектированию метаматериалов — горячее направление, появилось много выдающихся работ [22–24].

Вдохновленные глубоким обучением, в работе представлено исследование использования алгоритма МО на базе глубокой нейронной сети для предсказания структуры кольцевого резонатора с расщеплением (SRR) для целей спроектированного по требованию дизайна. Инновационно обучают отдельно прямую (forward) и обратную (reverse) сети, что не только повышает точность, но и позволяет достигать разных функций гибкой комбинацией. Результаты: MSE 0,0058 на обучающей и 0,0055 на валидационной выборках, хорошая робастность и обобщение. С обученной моделью цикл проектирования сокращается до дней или часов, очевидное повышение эффективности. Метод масштабируем: достаточно изменить обучающие данные для проектирования других входов или структур по требованию.

Теория и метод

Моделирование в COMSOL

Для демонстрации применимости глубокого обучения к обратному проектированию структур метаматериалов смоделировали трехслойную структуру SRR: золотое кольцо, силицидное дно, золотое дно, для наблюдения электромагнитного отклика при нормальном падении линейно поляризованного света. Рис. 1: угол расщепления θ золотого кольца, внутренний радиус r кольца, ширина линии d кольца — независимые переменные структуры. Толщины: Au кольцо 30 нм, SiO₂ дно 100 нм, Au дно 50 нм, размер мета-атомов 200×200 нм.

Моделирование в COMSOL Multiphysics 5.4 [25]: 3D пространство, физика — оптика ≥ волновая оптика ≥ электромагнитные волны частотная область (ewfd), изучаемый диапазон длин волн. Геометрия создана. Материалы и показатели преломления определены в материалах, добавлены порты и периодические условия в ewfd.

Построение модели глубокой нейронной сети

Построены обратная (reverse) и прямая (forward) сети для структуры метаматериала. Обратная сеть предсказывает структурные параметры SRR по заданным двум наборам кривых отражательной способности-длина волны с разной поляризацией. Прямая сеть предсказывает кривые отражательной способности-длина волны в двух поляризациях по заданным структурным параметрам. Функция обратной сети — основная предсказательная. Роль прямой — верификация предсказаний обратной сети: соответствуют ли они требуемому электромагнитному отклику.

Платформа разработки: Eclipse 2019, Python 3.7, TensorFlow 1.12.0.

Две сети обучают отдельно, чтобы результаты обучения каждой не влияли на ошибки другой, обеспечивая соответственную точность.

Рис. 2: преимущество раздельного обучения — гибкое использование для разных целей разными последовательностями соединения: (a) обратная + прямая — по заданной кривой отражательной способности вычисляют параметры структуры, предсказывают и верифицируют, соответствуют ли предсказания потребностям; (b) прямая сеть отдельно — упрощает численные расчеты и сокращает время вычислений.

Важно: процесс ввода и получения результатов обученной моделью глубокого обучения занимает крайне малое время. При появлении новых данных через симуляцию или эксперимент модель можно дообучать. Исследования показывают: с ростом обучающих данных точность модели растет, обобщение улучшается [26].

Параметры структуры — множественные наборы непрерывных собственных значений, задача регрессии. В последние годы полностью связанные сети (fully connected) в фокусе глубокого обучения для регрессии: высокая надежность, большая пропускная способность данных, низкая задержка. Небольшие корректировки полностью связанной сети позволяют лучше предсказывать структуру.

Рис. 3b: прямая сеть — полностью связанная, все узлы соседних слоев соединены. Вход — структурные параметры, выход — кривые отражательной способности-длина волны двух поляризаций. Рис. 3a: обратная сеть состоит из слоя извлечения признаков (FE layer) и полностью связанного слоя (FC layer). FE слой включает две полностью связанные сети, не соединенные между собой, обрабатывающие кривые отражательной способности линейно поляризованного света в двух направлениях для извлечения признаков входных данных. FC слой обучает извлеченные признаки и выдает структурные параметры. Из-за высокой когезии и низкой связанности кривых отражательной способности в разных поляризациях разделение входов двух наборов поляризованных данных предотвращает помехи стандартизации данных при извлечении признаков. Прямая сеть не имеет множественных входов и не нуждается в FE слое.

Для определения оптимальной структуры сети обучали сети разной структуры на одних данных. Рис. 4: после 50 эпох (одна эпоха = полный проход всех данных) MSE прямой сети разных структур. Левая часть Рис. 4: при 5 скрытых слоях по 100 узлов каждый достигнут наименьший MSE ~0,0174 — выбирают эту структуру.

Аналогично обучали разные структуры обратной сети, 50 эпох. Правая часть Рис. 4: при 7 FC слоях и 3 FE слоях наименьший MSE ~0,1756. Большее число слоев вызывает взрыв градиента, сеть не сходится, потеря бесконечна — не показано на рисунке.

Предобработка данных

Для обучения более надежной прямой сети данные отражательной способности переразбиты и сшиты с преломляющей способностью Au и SiO₂ для каждой частоты. Собранные данные нормализуют и вводят в прямую сеть — значительно повышает точность.

Чтобы данные с большими значениями не доминировали над малыми, входные данные нормализуют так, чтобы каждый столбец соответствовал стандартному нормальному распределению (среднее 0, дисперсия 1):

x = (x₀ - μ) / σ

где x₀ — исходные данные, μ — среднее, σ — стандартное отклонение. Без переразбивки отражательная способность искажается после нормализации, снижая точность сети. Переразбитые данные не меняют распределение при нормализации.

Метод нейронной сети

Принцип: построение множества нейронов (узлов) путем имитации работы и обучения человеческого мозга [27]. Нейроны соединены, выход корректируется весами связей. Выход j-го узла слоя:

y_j = Σᵢ₌₁ⁿ f(w_i x_i + b_j) / n

f — функция активации, w_i — вес связи i-го узла предыдущего слоя с j-м узлом, x_i — выход i-го узла предыдущего слоя, b_j — смещение (bias) этого узла, n — число узлов предыдущего слоя, соединенных с j-м.

Выбор функции активации

Для высокой нелинейности обратной задачи используют функцию ELU [28] как активацию каждого слоя. Выход f(x) ELU:

f(x) = x (x ≥ 0), α(eˣ - 1) (x < 0), где α ∈ [0,1].

Функция активации меняет нелинейную выразительную способность каждого слоя, повышая общую нелинейную аппроксимирующую способность сети. Рис. 5: ELU объединяет преимущества Sigmoid и ReLU. При x < 0 — лучшее мягкое насыщение, сеть робастнее к изменениям входа и шуму. При x > 0 — нет насыщения, помогает бороться с исчезновением градиента. Среднее значение ELU близко к 1, облегчает подгонку сети. Результаты доказали: ELU значительно улучшает робастность сети.

Схема инициализации весов

Метод инициализации весов каждого слоя определяет скорость сходимости и возможность подгонки. Инициализация масштабирования дисперсии (variance scaling) основана на количестве входных данных каждого слоя и извлекает веса из усеченного нормального распределения с центром 0, чтобы дисперсия сократилась до определенного диапазона, позволяя данным проникать глубже в сеть [29]. На данной структуре variance scaling ускоряет сходимость значительно.

Решение переобучения

Из-за недостатка данных сеть переобучается. Для снижения переобучения используют L2-регуляризацию (weight-decay в регрессии). Регуляризованный выход L:

L = L₀ + (λ/2n) Σ w²

L₀ — исходная функция потерь, добавляется регуляризационный член, λ — коэффициент регуляризации, n — пропускная способность данных, w — вес. После добавления веса w стремятся уменьшаться, избегая чрезмерных значений (weight attenuation). L2 уменьшает веса, избегая большого наклона подогнанной кривой, эффективно смягчает переобучение и помогает сходимости.

Также используют dropout: визуально «скрывают» определенную долю узлов при каждом обучении, разные узлы при каждом обучении, обучая множество «частичных сетей». Большинство частичных сетей точно представляют цели, результаты сортируются для получения решения.

L2 и dropout вместе не только эффективно смягчают низкое обобщение из-за мало данных, но и снижают влияние ошибочных данных. При dropout=0,2 и λ=0,0001 сеть достигает похожей точности на обучающей и тестовой выборках — высокая обобщающая способность.

Результаты и обсуждение

После обучения прямая сеть достигает высокой степени подгонки, MSE = 0,0015 — выход очень близок к результатам симуляции (Рис. 6). Это обеспечивает надежную верификацию результатов обратной сети при её обучении.

Финально генерируют две модели из обученной сети и соединяют для функции предсказания.

Функция предсказания может использовать комбинацию Рис. 2a. Обратная сеть предсказывает структуру по требуемой кривой отражательной способности, прямая верифицирует оптический отклик структуры. Рис. 7: сравнивая верифицированную отражательную способность с входной, характеристики отражательной способности в двух поляризациях в основном совпадают. Хотя наблюдаются незначительные несовпадения при некоторых длинах волн, общая тенденция совпадения неоспорима, ошибки в допустимом диапазоне.

Заключение

Представлена спроектированная глубокая нейронная сеть, способная создавать различные эффекты через гибкие комбинации конфигураций сетей. Наша обратная сеть предсказывает требуемую структуру по входной кривой отражательной способности-длина волны, что сильно сокращает время решения обратной задачи и удовлетворяет разные потребности гибкими комбинациями. Результаты показывают более высокую точность предсказаний, что подразумевает, что спроектированный по требованию дизайн решаем нашим методом. Глубокое обучение для направления проектирования метаматериалов автоматически получает более точные структуры, недостижимые традиционными методами.

Доступность данных и материалов

Данные рукописи получены из нашей симуляционной сети, мы не можем делиться ими по личным причинам.

Аббревиатуры

ELU:

Экспоненциальные линейные единицы (Exponential linear units)

FC layer:

Полностью связанный слой (Fully connected layer)

FE layer:

Слой извлечения признаков (Feature extraction layer)

FNN:

Прямая нейронная сеть (Forward neural network)

MSE:

Среднеквадратичная ошибка (Mean square errors)

ReLU:

Выпрямленная линейная единица (Rectified linear unit)

RNN:

Обратная нейронная сеть (Reverse neural network)

SRR:

Кольцевой резонатор с расщеплением (Split-ring resonator)