Глубокое обучение: ключ к современному ИИ

Фильм 1990 года «Вспомнить всё» (Total Recall) с Арнольдом Шварценеггером показывает 2084 год — почти век вперёд. В будущем автопилоты, по фильму. В 1990 — фантастика, сегодня — реальность. Apple, Alphabet, Nissan, Uber и др. работают над автономными авто. Tesla продаёт функциональные автопилоты конечным потребителям, которые, кажется, хорошо работают.

Что сделало фантастику реальностью за три десятилетия? Ответ — глубокое обучение.

От искусственного интеллекта к глубокому обучению

Гефайст, греческий бог огня и кузнечного дела, создавал золотых роботов и машины. Ещё с механическим турком в 1770-х люди создавали устройства, имитирующие человеческий интеллект. Механические турки — обман, но позже появились компьютеры, побеждающие людей (конец XX века). Всё — попытки создать системы, имитирующие человеческий мозг.

Рисунок 1. Сечение Турка. Источник: Библиотека Гумбольдтского университета

ИИ (AI) — термин для любой вычислительной системы, пытающейся имитировать человеческий мозг. Машина Тьюринга — примитивный ИИ, использовавший логику для решений.

Машинное обучение (ML) — подмножество ИИ, использующее модели для задач. Модели обучаются на больших данных. Deep Blue, компьютер, победивший Гарри Каспарова в шахматах 1997 — пример ML.

Глубокое обучение — снова подмножество ML, где модели учатся из данных без человеческого надзора. Системы глубокого обучения способны к обучению без учителя на неструктурированных данных.

Глубокое обучение: как это работает?

Вдохновлено структурой человеческого мозга: нейроны передают и обрабатывают информацию. Структуры в глубоком обучении — искусственные нейронные сети (ANN). ANN идентифицируют и классифицируют информацию без надзора — способны к unsupervised learning. Требуют гораздо больше данных vs классическое ML с supervised learning.

ANN состоят из множества слоёв от входного к выходному, через которые проходят данные. Остальные слои (не вход/выход) — скрытые (hidden layers). Первый слой (вход) — из нейронов. Нейрон ANN — математическая функция, близкая к человеческому нейрону.

Рисунок 2. Концепция входного и выходного слоя ANN.

Передача информации между слоями — через связывающие каналы. Каждый узел слоя соединён со всеми узлами следующего слоя каналами. У каждого канала есть значение — вес; каналы = взвешенные каналы.

У всех нейронов скрытых слоёв есть уникальное число — bias (смещение). Информация проходит от слоя к слою через каналы, беря веса. Достигая нейрона следующего слоя, bias добавляется к взвешенной сумме входов.

Результат математики подаётся в функцию активации. Она решает: активен ли нейрон. Применяя нелинейную функцию активации к результату (bias + взвешенная сумма). Функции активации добавляют нелинейность на выходе нейрона.

Только активные после функции активации нейроны передают информацию дальше. Так до финального слоя — выходного. Веса каналов нейронов и bias скрытых слоёв постоянно корректируются для получения обученной модели.

Популярные фреймворки глубокого обучения:

• TensorFlow (Google)
• PyTorch (Facebook/Meta)
• Caffe (UC Berkeley)
• Microsoft Cognitive Toolkit
• OpenAI

Данные для глубокого обучения

Данные — сырьё глубокого обучения. Теоретически любое количество улучшает модели. Но учитывая усилия сбора, время обучения, вычислительную мощь — объём не может быть бесконечным. И наоборот, слишком мало — ненадёжная модель.

Жёсткого правила объёма нет. Зависит от результата обученных моделей. Если модели ненадёжны — нужно больше данных. Есть эвристики минимума:

• Минимум 20 точек для регрессионных предсказаний
• Минимум 1000 изображений для классификации компьютерным зрением

Два правила для частых применений. Инженеры данных рекомендуют похожие правила для других задач. Как и все правила большого пальца — не идеальны, требуют подстройки под приложение.

Промышленные применения глубокого обучения

Автономные транспортные средства

Автопилоты уже продаются потребителям, но есть промышленные применения. Автономное вождение в транспортных устройствах на заводах: AGV (автономные погрузчики) могут стать полностью автономными. Исключает ручной труд, повышает безопасность и эффективность.

Рисунок 3. AGV на логистическом складе.

Компьютерное зрение

Компьютеры классифицируют и распознают объекты на изображениях. Иногда часть автопилотов, но много других промышленных применений. Компьютерное зрение автоматизирует сортировку объектов. Системы с CV делают контроль качества. Автоматизирует наблюдение за территорией завода и промышленными процессами.

Управление цепочками поставок

Цепочка поставок — сложная система: множество вендоров, поставщиков, географий, регуляторик. Ручное управление огромным трафиком товаров — невозможно. Глубокое обучение поддерживает здорвую цепочку, анализируя большие объёмы данных от IoT-устройств в цепочке.

Медицинские применения

Много медицинских применений. Идентификация аномалий на мед. снимках (рентген, МРТ). Мониторинг здоровья пациентов с носимыми устройствами 24/7. Помощь в открытии лекарств — наиболее вероятные комбинации молекул.

Глубокое обучение имеет ещё много промышленных применений: аэрокосмос, исследование космоса, добыча, навигация, оборона, кибербезопасность и далее. Быстро внедряется во все вертикали индустрии и скоро станет критическим и неизбежным элементом Industry 4.0.