Освоение обновления весов и обратного распространения в многослойных перцептронах

В этой статье мы представляем точные уравнения для расчётов обновления весов и объясняем, как обратное распространение позволяет многослойному перцептрону (MLP) учиться на данных.

Добро пожаловать в исчерпывающую серию AAC по машинному обучению.

Догните серию до сих пор здесь:

1. Как выполнять классификацию с нейронной сетью: что такое перцептрон?
2. Как использовать простой пример перцептрона для классификации данных
3. Как обучать базовый перцептрон
4. Понимание простого обучения нейронных сетей
5. Введение в теорию обучения для нейронных сетей
6. Понимание скорости обучения в нейронных сетях
7. Продвинутое машинное обучение с многослойным перцептроном
8. Сигмоидная функция активации: активация в многослойных перцептронах
9. Как обучать многослойный перцептрон
10. Понимание формул обучения и обратного распространения для многослойных перцептронов
11. Архитектура нейронной сети для Python-реализации
12. Как создать многослойный перцептрон на Python
13. Обработка сигналов с нейронными сетями: валидация в дизайне нейронных сетей
14. Обучающие наборы данных для нейронных сетей: как обучать и валидировать Python нейронную сеть

Мы достигли ядра теории нейронных сетей: вычислительных шагов, тонко настраивающих веса MLP для точной классификации входных сэмплов. Этот процесс является основой алгоритма обратного распространения, краеугольного камня современного глубокого обучения.

Обновление весов

Обучение MLP математически плотно, и терминология варьируется по источникам. Уравнения ниже взяты из чётких выводов д-ра Дастина Стэнсбери, делая их отличным референсом для новичков и практиков.

Диаграмма показывает архитектуру, которую мы реализуем в коде, и уравнения, следующие далее, напрямую отображаются на эту структуру.

Терминология

• Pre-activation (S_preA): взвешенная сумма на входе функции активации нейрона, вычисляемая как скалярное произведение входящих весов и активаций.
• Post-activation (S_postA): выход нейрона после применения функции активации f_A(·). Мы используем логистическую (сигмоидную) функцию в примерах.
• Матрицы весов: в коде мы маркируем их ItoH (вход-скрытый) и HtoO (скрытый-выход) для избежания двусмысленности.
• Цель (T): правильный выход для обучающего сэмпла.
• Скорость обучения (LR): шаг обновления весов.
• Финальная ошибка (FE): S_postA,O – T.
• Сигнал ошибки (S_ERROR): FE, умноженный на производную функции активации выходного нейрона.
• Градиент: вклад конкретного веса в сигнал ошибки; мы вычитаем LR × градиент из текущего веса.

Сопровождающая диаграмма иллюстрирует эти концепции в контексте.

Уравнения обновления весов результатом взятия частной производной суммы квадратичных ошибок по каждому весу. Для весов скрытый-выход:

S_ERROR = FE × f_A'(S_preA,O)

gradient_HtoO = S_ERROR × S_postA,H

weight_HtoO ← weight_HtoO – (LR × gradient_HtoO)

Для весов вход-скрытый ошибка должна пройти через дополнительный слой:

gradient_ItoH = S_ERROR × weight_HtoO × f_A'(S_preA,H) × input

weight_ItoH ← weight_ItoH – (LR × gradient_ItoH)

Обратное распространение

Обратное распространение решает дилемму скрытого узла: хотя веса вход-скрытый влияют на финальный выход косвенно, мы можем вычислить их эффект, пропагируя сигнал ошибки назад через сеть и масштабируя его исходящими весами и производными активации. Эта техника фундаментальна для обучения глубоких моделей.

Заключение

Мы распаковали ключевые уравнения, движущие обновления весов и механику обратного распространения в MLP. Эти концепции лежат в основе каждого современного нейронно-сетевого приложения, и их освоение открывает дверь к продвинутому моделированию. Оставайтесь в курсе следующих выпусков нашей серии, где мы глубже погрузимся в дизайн архитектуры, Python-реализацию и техники валидации.