Объединение двух моделей глубокого обучения

Глубокое обучение - бесценный инструмент в арсенале аналитиков данных с новыми приложениями в различных сферах, включая промышленные. Основной принцип работы глубокого обучения - использовать большие объемы данных для построения модели, которая может делать точные прогнозы.

Давайте рассмотрим небольшой пример того, как инженеры по промышленной автоматизации могут столкнуться с необходимостью объединить две модели глубокого обучения. Компания, производящая смартфоны, использует производственную линию, которая производит несколько моделей смартфонов. Компьютеризированное зрение, использующее алгоритмы глубокого обучения, обеспечивает контроль качества производственной линии.

В настоящее время производственная линия производит два смартфона:Phone A и Phone B. Модели A и B выполняют контроль качества для телефонов A и B соответственно. Компания представляет новый смартфон Phone C. Производственному предприятию может потребоваться новая модель для контроля качества третьего телефона под названием Model C. Создание новой модели требует огромного количества данных и времени.

Рисунок 1. Видео любезно предоставлено Мэтт Чан

Другой альтернативой является объединение уроков из моделей A и B для построения модели C. Комбинированная модель может выполнять контроль качества с небольшими корректировками весов.

Другой сценарий, при котором модели должны быть объединены, - это когда новая модель должна выполнять две задачи одновременно. Эти задачи могут выполнять две модели глубокого обучения. Модель, которая должна классифицировать набор данных и делать прогнозы в каждой категории, может быть создана путем объединения двух моделей:одной, которая может классифицировать большие наборы данных, и другой, которая может делать прогнозы.

Ансамблевое обучение

Объединение нескольких моделей глубокого обучения - это ансамблевое обучение. Это сделано для улучшения прогнозов, классификации или других функций модели глубокого обучения. Ансамблевое обучение также может создать новую модель с комбинированными функциями различных моделей глубокого обучения.

Создание новой модели имеет много преимуществ по сравнению с обучением новой модели полностью с нуля.

• Требуется очень мало данных для обучения комбинированной модели, поскольку большая часть обучения извлекается из комбинированных моделей.
• Создание комбинированной модели занимает меньше времени по сравнению с построением новой модели.
• При объединении моделей требуется меньше вычислительных ресурсов.
• Новые комбинированные модели имеют более высокую точность и более широкие возможности, чем те, которые были объединены для получения новой модели.

Из-за различных преимуществ ансамблевого обучения его часто проводят для создания новой модели. Соответствующие алгоритмы, пакеты и обученные модели глубокого обучения должны сочетать в себе разные модели, а наиболее продвинутые алгоритмы глубокого обучения написаны на Python.

Рисунок 2 Наборный ансамбль для нейронных сетей глубокого обучения на Python. Изображение любезно предоставлено Мастерство машинного обучения

Знание Python и соответствующих используемых инструментов глубокого обучения является необходимым условием для объединения различных моделей. После того, как все они созданы, реализуются различные методы для объединения различных алгоритмов глубокого обучения. Они объясняются в следующих разделах.

Метод (взвешенного) среднего

В этом методе в качестве новой модели используется среднее значение двух моделей. Это наиболее простой метод объединения двух моделей глубокого обучения. Модель, созданная на основе простого среднего двух моделей, имеет большую точность, чем две объединенные модели.

Для дальнейшего повышения точности и результатов комбинированной модели целесообразно использовать средневзвешенное значение. Веса, присвоенные различным моделям, могут быть основаны на производительности моделей или на объеме обучения каждой модели. В этом методе две разные модели объединяются в новую модель.

Метод упаковки

Одна и та же модель глубокого обучения может иметь несколько итераций. Различные итерации будут обучаться с разными наборами данных и иметь разные уровни улучшения. Объединение разных версий одной и той же модели глубокого обучения - это метод упаковки.

Методология остается такой же, как и у метода усреднения. Различные версии одной и той же модели глубокого обучения комбинируются простым средним или средневзвешенным способом. Этот метод помогает создать новую модель, в которой нет предвзятости подтверждения, построенной на единственной модели, что делает модель более точной и высокопроизводительной.

Метод повышения

Метод повышения аналогичен использованию петли обратной связи для моделей. Производительность модели используется для корректировки последующих моделей. Это создает цикл положительной обратной связи, в котором накапливаются все факторы, способствующие успеху модели.

Рисунок 3 Boosing метод для ансамблевого обучения. Изображение любезно предоставлено Ашиш Патель

Метод повышения снижает смещение и дисперсию, испытываемую моделями. Это возможно, поскольку такие отрицательные стороны отфильтровываются в последующих итерациях. Повышение может быть выполнено двумя разными способами:усиление на основе веса и повышение на основе остатка.

Метод конкатенации

Этот метод используется, когда разные источники данных должны быть объединены в одну модель. Этот комбинированный метод принимает разные входные данные и объединяет их в одну и ту же модель. Результирующий набор данных будет иметь больше измерений, чем исходный набор данных.

При последовательном выполнении несколько раз размеры данных вырастут до очень большого числа, что может привести к переобучению и потере критически важной информации, что снизит производительность объединенной модели.

Метод стекирования

Метод стекирования для ансамбля моделей глубокого обучения объединяет различные методы разработки моделей глубокого обучения с использованием производительности предыдущих итераций для улучшения предыдущих моделей. Добавление элемента взятия средневзвешенного значения к этой составной модели улучшает положительный вклад подмоделей.

Точно так же к моделям могут быть добавлены методы упаковки и конкатенации. Метод комбинирования различных методов для комбинирования моделей может улучшить производительность комбинированной модели.

Методологии, техники и алгоритмы, которые можно использовать для комбинирования моделей глубокого обучения, бесчисленны и постоянно развиваются. Появятся новые методы решения той же задачи, обеспечивающие лучшие результаты. Ключевые идеи, которые нужно знать об объединении моделей, приведены ниже.

• Объединение моделей глубокого обучения также называется ансамблевым обучением.
• Объединение разных моделей сделано для повышения производительности моделей глубокого обучения.
• Построение новой модели путем комбинирования требует меньше времени, данных и вычислительных ресурсов.
• Самый распространенный метод комбинирования моделей - усреднение нескольких моделей, при котором получение средневзвешенного значения повышает точность.
• Пакетирование, ускорение и конкатенация - это другие методы, используемые для объединения моделей глубокого обучения.
• В составном ансамблевом обучении используются различные методы комбинирования для построения модели.