Проектирование гибкого перцептрона на Python: архитектура, смещение и активация

Построение перцептрона для классификации: архитектура, смещение и активация

Добро пожаловать в серию AAC о нейронных сетях. Наши предыдущие посты покрыли теоретические основы нейронных сетей:

1. Как выполнять классификацию с нейронной сетью: что такое перцептрон?
2. Как использовать простой пример перцептрона для классификации данных
3. Как обучать базовый перцептрон
4. Понимание простого обучения нейронных сетей
5. Введение в теорию обучения для нейронных сетей
6. Понимание скорости обучения в нейронных сетях
7. Продвинутое машинное обучение с многослойным перцептроном
8. Сигмоидная функция активации: активация в многослойных перцептронах
9. Как обучать многослойный перцептрон
10. Понимание формул обучения и обратного распространения для многослойных перцептронов
11. Архитектура нейронной сети для Python-реализации
12. Как создать многослойный перцептрон на Python
13. Обработка сигналов с нейронными сетями: валидация в дизайне нейронных сетей
14. Обучающие наборы данных для нейронных сетей: как обучать и валидировать Python нейронную сеть

Мы теперь готовы перевести эту теорию в работающую систему классификации перцептрона. Следующий раздел описывает архитектуру, которую мы реализуем на Python, с чёткими дизайнерскими выборами, делающими код портируемым на другие языки, такие как C.

Архитектура Python нейронной сети

Диаграмма ниже иллюстрирует структуру сети, которую мы закодируем:

• Переменные входные узлы — необходимо для соответствия размерности реальных данных.
• Один скрытый слой только — один скрытый слой достаточно для многих задач классификации, упрощая реализацию.
• Переменные скрытые узлы — оптимальное количество находится эмпирически; мы обсудим эвристики в будущем посте.
• Фиксированные выходные узлы (1) — упрощает начальную программу; будущие версии могут поддерживать многоклассовые выходы.
• Функция активации — и скрытый, и выходной слои используют логистическую сигмоиду: f(x)=1/(1+e^{-x}).

Что такое узел смещения? (Смещение повышает гибкость перцептрона)

Узлы смещения — или просто смещения — это константы, добавляемые к взвешенной сумме узла перед активацией. Они обычно устанавливаются в 1 и могут быть помещены во входной или скрытый слой.

Веса смещения обновляются как любые другие веса во время обратного распространения. Включение узлов смещения позволяет сети сдвигать свою границу решения, улучшая производительность на нелинейно разделимых данных.

В части 10 этой серии мы описали pre-activation как скалярное произведение: S_preA = w · x = Σ(w_i x_i). Добавление смещения b модифицирует это до:

S_preA = (w · x) + b = Σ(w_i x_i) + b

Смещение эффективно действует как y-перехват в линейном уравнении y = mx + b, сдвигая кривую активации горизонтально.

Веса, смещение и активация

Во время обучения веса масштабируют наклон входа, в то время как смещение сдвигает его вертикально. С логистической сигмоидой f_A(x) = 1/(1+e^{-x}), переход от 0 к 1 центрирован при x = 0. Корректировка смещения движет этот переход влево или вправо, а величина веса контролирует крутизну перехода.

Заключение

Мы обрисули ключевые архитектурные выборы для нашего перцептрона и объяснили роль узлов смещения. В следующей статье мы погрузимся в Python-код, оживляющий этот дизайн.