Что такое глубокое обучение?

Фильм Арнольда Шварценеггера 1990 года Вспомнить все изображает историю 2084 года, то есть почти столетие в будущем. Согласно фильму, в будущем будут беспилотные автомобили. В 1990 году это было научной фантастикой, но сегодня это реальность. Apple, Alphabet, Nissan, Uber и многие другие компании работают над автономными автомобилями. Tesla продает конечным потребителям функциональные беспилотные автомобили, которые, похоже, работают хорошо.

Что сделало научную фантастику реальностью всего за три десятилетия? Ответ - глубокое обучение.

От искусственного интеллекта к глубокому обучению

Гефест, греческий бог огня и обработки металлов, создал золотых роботов и машины. Еще в семидесятых годах прошлого века у механического турка люди разрабатывали устройства, имитирующие человеческий интеллект. Хотя механические турки были обманом, более поздние компьютеры, способные побеждать людей, были разработаны в конце 20 века. Все они пытались создать системы, имитирующие человеческий мозг.

Рисунок 1. Поперечный разрез турка. Изображение любезно предоставлено Библиотека Университета Гумбольдта

Искусственный интеллект (ИИ) - это термин, которым обозначается любая вычислительная система, которая пытается имитировать человеческий мозг. Машина Тьюринга Алана Тьюринга была примитивной системой искусственного интеллекта, которая использовала логику для поиска решений.

Машинное обучение (ML) - это подмножество ИИ, которое использует модели для выполнения задач. Эти модели обучаются с большим объемом данных. Deep Blue, компьютер, победивший чемпиона мира по шахматам Гарри Каспарова в 1997 году, является примером ML.

Глубокое обучение снова является подмножеством машинного обучения, в котором модели учатся на данных без какого-либо человеческого контроля. Таким образом, системы глубокого обучения способны изучать неструктурированные данные без учителя.

Глубокое обучение:как оно работает?

Глубокое обучение основано на структуре человеческого мозга, который состоит из нейронов, передающих и обрабатывающих информацию. Структуры, используемые в глубоком обучении, называются искусственными нейронными сетями (ИНС). ИНС могут идентифицировать и классифицировать информацию без участия человека и, как говорят, способны к обучению без учителя. Для этого требуется гораздо больший объем данных по сравнению с обычным машинным обучением, в котором используется контролируемое обучение.

ИНС состоят из нескольких уровней от входного до выходного, через которые проходят данные. Остальные слои, кроме входного и выходного, называются скрытыми слоями. Первый слой ИНС или входной слой состоит из нейронов. Нейроны ИНС - это математические функции, которые точно представляют нейрон человека.

Рисунок 2 Концепция входного и выходного уровней ИНС.

Передача информации по разным уровням осуществляется по соединительным каналам. Каждый узел в уровнях ИНС связан с каждым узлом следующего уровня с этими каналами. Каждому каналу присвоено значение, называемое его весом; следовательно, каналы называются взвешенными каналами.

Всем нейронам в скрытых слоях присвоен уникальный номер, называемый смещением. Информация передается от одного уровня к следующему каналу, принимая веса, связанные с каналами. Когда он достигает нейрона следующего слоя, смещение добавляется к взвешенной сумме входных данных.

Результат этой математической операции передается в функцию активации. Функция активации решает, должен ли нейрон быть активным или нет. Это делается путем применения нелинейной функции активации к результату, полученному путем добавления смещения к взвешенным суммам из каналов. Функции активации добавляют нелинейности выходному сигналу нейрона.

Только нейроны, которые активны после применения функции активации, могут отправлять информацию на следующий уровень. Это продолжается до последнего слоя, выходного слоя. Веса каналов нейронов и смещения в скрытых слоях постоянно корректируются, чтобы получить хорошо обученную модель.

Вот некоторые из самых популярных фреймворков глубокого обучения:

• Tensorflow от Google
• PyTorch от Facebook
• Кафе Калифорнийского университета в Беркли.
• Microsoft Cognitive Toolset
• OpenAI

Данные для глубокого обучения

Данные - это сырье для глубокого обучения. Теоретически любой объем данных улучшает модели. Но, учитывая усилия по сбору данных, необходимое время обучения и вычислительную мощность, необходимую для обучения моделей, объем данных для глубокого обучения не может быть бесконечным. И наоборот, слишком мало данных не приведет к созданию надежной модели глубокого обучения.

Не существует однозначного правила в отношении количества данных, необходимых для обучения успешной модели. Это зависит в первую очередь от результата обученных моделей. Если модели недостаточно надежны, требуется больше данных. Есть несколько практических правил для минимума данных, необходимых для обучения моделей глубокого обучения.

• Не менее 20 точек данных для прогнозов с регрессионным анализом.
• Не менее 1000 изображений для классификации с помощью компьютерного зрения.

Это две эвристики для более распространенных приложений с глубоким обучением. Инженеры по обработке данных рекомендуют одинаковые правила для разных приложений. Как и все эмпирические правила, они не идеальны и требуют изменений в зависимости от конкретного приложения.

Промышленные приложения глубокого обучения

Существует множество промышленных приложений для глубокого обучения. Давайте рассмотрим некоторые из них.

Беспилотные автомобили

Сейчас беспилотные автомобили продаются потребителям, но они также имеют много промышленного применения. Автономное вождение можно использовать в транспортных средствах, используемых на заводах; например, автономные управляемые транспортные средства (AGV) могут работать полностью автономно. Это устраняет необходимость в ручном труде при выполнении таких задач, повышая безопасность и эффективность.

Рисунок 3 AGV используется на логистическом складе.

Компьютерное зрение

Компьютеры классифицируют и распознают объекты по изображениям. Иногда компьютерное зрение является частью автономных транспортных средств, но оно имеет гораздо больше применений в промышленных приложениях. Компьютерное зрение может автоматизировать сортировку объектов. Системы компьютерного зрения могут выполнять проверки качества. Он также может автоматизировать наблюдение за производственными помещениями и производственными процессами.

Управление цепочкой поставок

Цепочка поставок компании - это сложная система, охватывающая множество поставщиков, поставщиков, географических регионов и нормативных требований. Управлять огромным потоком товаров вручную - задача невыполнимая. Глубокое обучение можно использовать для поддержания работоспособности цепочки поставок путем анализа больших объемов данных, созданных с помощью устройств IoT (Интернет вещей) в цепочке поставок.

Применение в медицине

Глубокое обучение также имеет множество медицинских приложений. Его можно использовать для выявления аномалий по результатам медицинских изображений, таких как рентгеновские снимки, МРТ и т. Д. Он также может круглосуточно контролировать состояние здоровья пациента с помощью подключенных устройств мониторинга. Глубокое обучение может помочь в открытии лекарств, давая наиболее вероятную комбинацию молекул.

Глубокое обучение имеет гораздо больше промышленных приложений в аэрокосмической сфере, исследовании космоса, горнодобывающей промышленности, навигации, системах защиты, кибербезопасности и этот список можно продолжить. Глубокое обучение быстро внедряется во всех отраслевых вертикалях и скоро станет критическим и неизбежным элементом Индустрии 4.0.