Интеграция двух моделей глубокого обучения для усиленной промышленной автоматизации

Глубокое обучение (Deep Learning) — ценный инструмент аналитиков данных с новыми применениями, включая промышленность. Принцип: большие объёмы данных → модель для точных предсказаний.

Пример: завод смартфонов делает модели А и Б. Компьютерное зрение с глубоким обучением контролирует качество. Сейчас две модели: Model A для Phone A, Model B для Phone B. Запускают Phone C. Нужен Model C. Обучение с нуля — огромные данные и время.

Рисунок 1. Видео предоставлено: Matt Chan

Альтернатива — объединить знания Model A и B для Model C. Комбинированная модель с минимальной подстройкой весов сделает контроль качества.

Другой сценарий: новая модель должна решать две задачи одновременно. Две модели глубокого обучения могут это сделать. Модель, классифицирующая датасет и предсказывающая в каждой категории, создаётся объединением: одна классифицирует большие датасеты, вторая предсказывает.

Ансамблевое обучение (Ensemble Learning)

Объединение нескольких моделей глубокого обучения — ансамблевое обучение. Цель: лучшие предсказания, классификация, другие функции. Может создать новую модель с комбинированной функциональностью.

Создание новой модели объединением выгоднее обучения с нуля:

• Требует очень мало данных — основное обучение из комбинируемых моделей.
• Меньше времени на построение.
• Меньше вычислительных ресурсов.
• Новые комбинированные модели точнее и способнее исходных.

Благодаря преимуществам ансамблевое обучение часто используют. Алгоритмы, пакеты, обученные модели на Python — основной стек.

Рисунок 2. Стекинг-ансамбль для нейросетей глубокого обучения на Python. Источник: Machine Learning Mastery

Python и инструменты глубокого обучения — предпосылки. Техники объединения в следующих разделах.

Метод (взвешенного) усреднения

Простейший: усреднение двух моделей = новая модель. Даёт точность выше, чем у каждой отдельно.

Для улучшения — взвешенное усреднение. Веса основаны на производительности моделей или объёме обучения каждой. Две модели → новая.

Метод бэггинга (Bagging)

Одна модель глубокого обучения имеет несколько итераций. Разные датасеты для обучения → разные уровни улучшения. Объединение версий одной модели — бэггинг.

Методология та же: простое или взвешенное усреднение версий. Создаёт модель без confirmation bias одиночной модели — точнее и производительнее.

Метод бустинга (Boosting)

Похож на обратную связь для моделей. Производительность модели корректирует последующие. Позитивный фидбек-луп, накапливающий факторы успеха.

Рисунок 3. Бустинг для ансамблевого обучения. Источник: Ashish Patel

Бустинг снижает смещение (bias) и дисперсию (variance) моделей. Негативные стороны отсеиваются в следующих итерациях. Два вида: весовый бустинг и остаточный (residual-based) бустинг.

Метод конкатенации (Concatenation)

Когда разные источники данных нужно слить в одну модель. Берёт разные входы, конкатенирует в одну модель. Результирующий датасет — больше измерений.

При многократном последовательном применении размерность растёт до огромных чисел → риск переобучения (overfitting) и потери критичной информации → падение производительности.

Метод стекинга (Stacking)

Интегрирует разные методы для разработки моделей, используя производительность предыдущих итераций для буста. Добавление взвешенного усреднения к застеканной модели улучшает позитивные вклады суб-моделей.

Аналогично можно добавлять бэггинг и конкатенацию. Комбинация техник объединения улучшает производительность итоговой модели.

Методологии, техники, алгоритмы объединения моделей глубокого обучения — безумны и эволюционируют. Появятся новые подходы с лучшими результатами. Ключевые идеи:

• Объединение моделей глубокого обучения = ансамблевое обучение.
• Цель — улучшение производительности моделей.
• Создание новой модели объединением требует меньше времени, данных, ресурсов.
• Чаще всего — усреднение нескольких моделей; взвешенное усреднение повышает точность.
• Бэггинг, бустинг, конкатенация — другие методы.
• Стекинг использует разные техники объединения для построения модели.