Machine Learning 101: 4 основных типа обучения с подкреплением для начинающих

Что такое Machine Learning

Подраздел ИИ, где алгоритмы учатся на данных без явного программирования правил. Модель строится на обучающей выборке (training data), обобщает паттерны и делает предсказания на новых данных. Big Data — топливо, ML — метод, AI — результат.

4 основных парадигмы обучения

1. Обучение с учителем (Supervised Learning)

Данные размечены (есть целевые метки y). Модель учится отображению X → y.

• Задачи: классификация (спам/не спам, диагноз), регрессия (цена дома, температура).
• Алгоритмы: Linear/Logistic Regression, Decision Trees, Random Forest, XGBoost, SVM, Neural Nets.
• Процесс: обучение → валидация (подбор гиперпараметров) → тест (оценка качества: accuracy, F1, ROC-AUC, MSE).
• Пример: предсказание оттока клиентов по истории их активности.

2. Обучение без учителя (Unsupervised Learning)

Данные не размечены. Модель ищет скрытые структуры.

• Задачи: кластеризация (K-means, DBSCAN, Hierarchical), снижение размерности (PCA, t-SNE, UMAP), поиск аномалий, ассоциативные правила (Apriori).
• Пример: сегментация клиентов по поведению без заранее заданных групп.
• Сложность: нет «правильного ответа» для метрик — оценка качества субъективна (силуэт, экспертная разметка).

3. Полуконтролируемое обучение (Semi-Supervised Learning — SSL)

Мало размеченных + много неразмеченных данных. Разметка дорогая (эксперты), неразмеченные — дешёвые (логи, фото, текст).

• Подходы: псевдо-разметка (self-training), консистентность (Consistency Regularization — FixMatch, Mean Teacher), графические модели (Label Propagation).
• Где применяется: медицинская визуализация, NLP (BERT pre-training — masked LM = SSL), речь, видео.
• Популярно, потому что: реалистичный баланс стоимости и качества.

4. Обучение с подкреплением (Reinforcement Learning — RL)

Агент взаимодействует со средой: действие → награда/штраф → новая цель. Цель — максимизировать кумулятивную награду.

• Ключевые концепции: политика (policy), функция ценности (value function), Q-learning, Actor-Critic, PPO, SAC.
• Exploration vs Exploitation — баланс между поиском нового и использованием известного.
• Применение: робототехника, игры (AlphaGo, OpenAI Five), рекомендательные системы, автопилоты, управление портфелем, чип-дизайн (AlphaChip).
• Сложность: нестабильность обучения, sample inefficiency, reward shaping, симуляторы.

Сравнительная таблица

Заключение

Начинайте с Supervised (база). Потом Unsupervised (EDA, кластеризация). SSL — когда мало лейблов. RL — для последовательных решений в среде. Современные SOTA модели (LLM, мультимодальные) комбинируют все парадигмы: pre-training (SSL) → fine-tuning (Supervised) → RLHF (Reinforcement Learning from Human Feedback).