Сколько скрытых слоев и скрытых узлов нужно нейронной сети?

В этой статье представлены рекомендации по настройке скрытой части многослойного персептрона.

До сих пор в этой серии, посвященной нейронным сетям, мы обсуждали NN Perceptron, многослойные NN и способы разработки таких NN с помощью Python. Прежде чем мы перейдем к обсуждению того, сколько скрытых слоев и узлов вы можете использовать, подумайте о том, чтобы наверстать упущенное из серии ниже.

1. Как выполнить классификацию с помощью нейронной сети:что такое перцептрон?
2. Как использовать простой пример нейронной сети персептрона для классификации данных
3. Как обучить базовую нейронную сеть персептрона
4. Общие сведения об обучении простой нейронной сети
5. Введение в теорию обучения нейронных сетей.
6. Скорость обучения в нейронных сетях
7. Расширенное машинное обучение с многоуровневым персептроном
8. Функция активации сигмовидной кишки:активация в многослойных перцептронных нейронных сетях.
9. Как обучить многослойную нейронную сеть персептрона
10. Понимание формул обучения и обратного распространения ошибки для многослойных персептронов
11. Архитектура нейронной сети для реализации Python
12. Как создать многослойную нейронную сеть персептрона на Python.
13. Обработка сигналов с использованием нейронных сетей:проверка при проектировании нейронных сетей
14. Обучающие наборы данных для нейронных сетей:как обучить и проверить нейронную сеть Python
15. Сколько скрытых слоев и скрытых узлов нужно нейронной сети?

Обзор скрытых слоев

Во-первых, давайте рассмотрим некоторые важные моменты, касающиеся скрытых узлов в нейронных сетях.

• Персептроны, состоящие только из узлов ввода и узлов вывода (называемые однослойными перцептронами), не очень полезны, потому что они не могут аппроксимировать сложные отношения ввода-вывода, которые характеризуют многие типы реальных явлений. В частности, однослойные персептроны могут быть линейно разделены . проблемы; как мы видели в части 7, даже такая простая вещь, как логическая функция XOR, не является линейно разделимой.
• Добавление скрытого слоя между входным и выходным слоями превращает персептрон в универсальный аппроксиматор , что по сути означает, что он способен фиксировать и воспроизводить чрезвычайно сложные отношения ввода-вывода.
• Наличие скрытого слоя немного усложняет обучение, поскольку ввод-скрытый веса имеют косвенное влияние на окончательную ошибку (это термин, который я использую для обозначения разницы между выходным значением сети и целевым значением предоставлены данными обучения).
• Техника, которую мы используем для обучения многослойного персептрона, называется обратное распространение . :мы распространяем окончательную ошибку обратно на входную сторону сети таким образом, чтобы мы могли эффективно изменять веса, которые не связаны напрямую с выходным узлом. Процедура обратного распространения ошибки является расширяемой, то есть та же процедура позволяет нам обучать веса, связанные с произвольным количеством скрытых слоев.

На следующей диаграмме показана структура базового многослойного персептрона.

Сколько скрытых слоев?

Как и следовало ожидать, на этот вопрос нет простого ответа. Однако важнее всего понять, что персептрон с одним скрытым слоем - чрезвычайно мощная вычислительная система. Если вы не получаете адекватных результатов с одним скрытым слоем, сначала попробуйте другие улучшения - возможно, вам нужно оптимизировать скорость обучения, или увеличить количество эпох обучения, или улучшить набор данных для обучения. Добавление второго скрытого слоя увеличивает сложность кода и время обработки.

Также следует помнить, что сверхмощная нейронная сеть - это не просто пустая трата усилий на кодирование и ресурсов процессора - она ​​может действительно нанести положительный вред, сделав сеть более восприимчивой к перетренированию.

Мы говорили о перетренированности еще в Части 4, которая включала следующую диаграмму как способ визуализации работы нейронной сети, решение которой недостаточно обобщено.

Сверхмощный персептрон может обрабатывать данные обучения способом, который отдаленно аналогичен тому, как люди иногда «переоценивают» ситуацию.

Когда мы уделяем слишком много внимания деталям и прилагаем чрезмерные интеллектуальные усилия к проблеме, которая на самом деле довольно проста, мы упускаем «общую картину» и в конечном итоге получаем решение, которое окажется неоптимальным. Точно так же персептрон с чрезмерной вычислительной мощностью и недостаточным объемом обучающих данных может выбрать слишком конкретное решение вместо поиска обобщенного решения (как показано на следующем рисунке), которое будет более эффективно классифицировать новые входные выборки.

Итак, когда нам действительно нужно несколько скрытых слоев? Я не могу дать вам никаких рекомендаций из личного опыта. Лучшее, что я могу сделать, это передать опыт доктора Джеффа Хитона (см. Стр. 158 связанного текста), который утверждает, что один скрытый слой позволяет нейронной сети аппроксимировать любую функцию, включающую «непрерывное отображение из одного конечного пространства в другое. . »

Благодаря двум скрытым слоям сеть может «представлять произвольную границу решения с произвольной точностью».

Сколько скрытых узлов?

Поиск оптимальной размерности для скрытого слоя потребует проб и ошибок. Как обсуждалось выше, наличие слишком большого количества узлов нежелательно, но у вас должно быть достаточно узлов, чтобы сеть могла улавливать сложность отношений ввода-вывода.

Метод проб и ошибок - это хорошо, но вам понадобится какая-то разумная отправная точка. В той же книге, по ссылке выше (на странице 159), доктор Хитон упоминает три практических правила выбора размерности скрытого слоя. Я буду опираться на них, предлагая рекомендации, основанные на моей смутной интуиции в области обработки сигналов.

1. Если сеть имеет только один выходной узел и вы считаете, что требуемые отношения ввода-вывода достаточно просты, начните с размерности скрытого слоя, равной двум третям входной размерности.
2. Если у вас есть несколько выходных узлов или вы считаете, что требуемые отношения ввода-вывода являются сложными, сделайте размерность скрытого слоя равной размерности входа плюс размерность выхода (но не превышайте размерность входа вдвое).
3. Если вы считаете, что требуемые отношения ввода-вывода чрезвычайно сложны, установите скрытую размерность на единицу меньше входной размерности на единицу.

Заключение

Я надеюсь, что эта статья помогла вам понять процесс настройки и уточнения конфигурации скрытого уровня многослойного персептрона.

В следующей статье мы рассмотрим влияние размерности скрытого слоя с использованием моей реализации Python и некоторых примеров проблем.