PyTorch vs TensorFlow: экспертное руководство по выбору лучшего фреймворка для глубокого обучения

Растущая популярность глубокого обучения создала здоровую конкуренцию между фреймворками глубокого обучения. PyTorch и TensorFlow выделяются как два самых популярных фреймворка глубокого обучения. Библиотеки конкурируют за лидерство в качестве основного инструмента глубокого обучения.

TensorFlow старше и всегда имел преимущество из-за этого, но PyTorch догнал его за последние шесть месяцев. Существует много путаницы при выборе правильного фреймворка глубокого обучения для проекта.

В этой статье сравниваются PyTorch и TensorFlow и предоставляется подробное сравнение двух фреймворков.

PyTorch vs TensorFlow: обзор

И PyTorch, и TensorFlow следят за действиями своих конкурентов. Однако между двумя фреймворками все еще есть некоторые различия.

Примечание: Эта таблица прокручивается горизонтально.

Библиотека	PyTorch	TensorFlow 2.0
Создатель	FAIR Lab (Facebook AI Research Lab)	Google Brain Team
Основана на	Torch	Theano
Продакшн	Ориентирована на исследования	Ориентирована на промышленность
Визуализация	Visdom	Tensorboard
Развертывание	Torch Serve (экспериментальный)	TensorFlow Serve
Мобильное развертывание	Да (экспериментальный)	Да
Управление устройствами	CUDA	Автоматизированное
Генерация графа	Динамический и статический режим	Eager и статический режим
Кривая обучения	Проще для разработчиков и ученых	Проще для промышленных проектов
Варианты использования	Facebook CheXNet Tesla Autopilot Uber PYRO	Google Sinovation Ventures PayPal China Mobile

1. Визуализация

Визуализация вручную занимает время. И PyTorch, и TensorFlow имеют инструменты для быстрого визуального анализа. Это упрощает обзор процесса обучения. Визуализация также отлично подходит для представления результатов.

TensorFlow

Для визуализации данных используется Tensorboard. Интерфейс интерактивен и визуально привлекателен. Tensorboard предоставляет подробный обзор метрик и обучающих данных. Данные легко экспортируются и отлично смотрятся для презентаций. Плагины делают Tensorboard доступным для PyTorch.

Однако Tensorboard громоздок и сложен в использовании.

PyTorch

PyTorch использует Visdom для визуализации. Интерфейс легковесный и простой в использовании. Visdom гибок и настраиваем. Прямая поддержка тензоров PyTorch делает его простым в использовании.

Visdom лишен интерактивности и многих важных функций для обзора данных.

2. Генерация графа

Существует два типа генерации архитектуры нейронных сетей:

• Статические графы — фиксированная архитектура слоев. Карта генерируется сначала, затем через нее пропускаются данные.
• Динамические графы — динамическая архитектура слоев. Карта определяется неявно с перегрузкой данных.

TensorFlow

TensorFlow с самого начала использовал статические графы. Статические графы позволяют распределять вычисления на несколько машин. Модели развертываются независимо от кода. Использование статических графов сделало TensorFlow более дружелюбным к продакшну и гибким при работе с новыми архитектурами.

TensorFlow добавил функцию, имитирующую динамические графы, называемую eager execution (нетерпеливое выполнение). TensorFlow 2 работает в режиме eager execution по умолчанию. Генерация статического графа доступна при отключении eager execution.

PyTorch

PyTorch с самого начала имел динамические графы. Эта возможность поставила PyTorch в конкуренцию с TensorFlow.

Способность менять графы на лету оказалась более удобным для программистов и исследователей подходом к генерации нейронных сетей. Структурированные данные и вариации размеров данных легче обрабатывать с динамическими графами. PyTorch также предоставляет статические графы.

3. Кривая обучения

Кривая обучения зависит от предыдущего опыта и конечной цели использования глубокого обучения.

TensorFlow

TensorFlow — более сложная библиотека. Функции Keras делают TensorFlow проще в использовании. В целом, TensorFlow трудно понять для кого-то, кто только начинает заниматься глубоким обучением.

Причина в разнообразной функциональности TensorFlow. Есть много функций, чтобы изучить и разобраться. Это отвлекает и избыточно для новичка.

PyTorch

PyTorch — более легкая для обучения библиотека. Код легче экспериментировать, если знаком Python. В PyTorch используется питонический подход к созданию нейронной сети. Гибкость PyTorch означает, что код удобен для экспериментов.

PyTorch не так богат функционалом, но все основные функции доступны. PyTorch проще для начала и обучения.

4. Развертывание

Развертывание — это этап разработки программного обеспечения, важный для команд разработчиков. Развертывание делает программу или приложение доступным для использования потребителями.

TensorFlow

TensorFlow использует TensorFlow Serving для развертывания моделей. TensorFlow Serving разработан с учетом производственных и промышленных сред. Развертывание гибкое и высокопроизводительное с REST API клиентом. TensorFlow Serving хорошо интегрируется с Docker и Kubernetes.

PyTorch

PyTorch недавно начал решать проблему развертывания. Torch Serve развертывает модели PyTorch. Есть RESTful API для интеграции приложений. API PyTorch расширяем для мобильного развертывания. Torch Serve интегрируется с Kubernetes.

5. Параллелизм и распределенное обучение

Параллелизм и распределенное обучение необходимы для больших данных. Общие метрики:

• Ускорение — отношение скорости последовательной модели (один GPU) к скорости параллельной модели (несколько GPU).
• Пропускная способность — максимальное количество изображений, пропускаемых через модель за единицу времени.
• Масштабируемость — как система справляется с увеличением нагрузки.

Существует два способа распределения нагрузки обучения:

• Параллелизм модели — слои модели распределяются на разные устройства. Части графа используются в обучении одновременно.
• Параллелизм данных — все устройства имеют копию всей модели. Каждое устройство обучается на разных выборках данных. Предпочтительно использовать синхронный SGD (стохастический градиентный спуск).

Параллелизм модели в TensorFlow

Чтобы разместить часть модели на конкретном устройстве в TensorFlow, используйте tf.device.

Например, разделение двух линейных слоев на два разных GPU:

import tensorflow as tf
from tensorflow.keras import layers
with tf.device(‘GPU:0’):
    layer1 = layers.Dense(16, input_dim=8)
with tf.device(‘GPU:1’):
    layer2 = layers.Dense(4, input_dim=16)

Параллелизм модели в PyTorch

Переместите части модели на разные устройства в PyTorch с помощью метода nn.Module.to.

Например, переместите два линейных слоя на два разных GPU:

import torch.nn as nn
layer1 = nn.Linear(8,16).to(‘cuda:0’)
layer2 = nn.Linear(16,4).to(‘cuda:1’)

Параллелизм данных в TensorFlow

Для синхронного SGD в TensorFlow установите стратегию распределения с tf.distribute.MirroredStrategy() и оберните инициализацию модели:

import tensorflow as tf
strategy = tf.distribute.MirroredStrategy()
with strategy.scope():
    model = …
    model.compile(...)

После компиляции модели с оберткой обучайте модель как обычно.

Параллелизм данных в PyTorch

Для синхронного SGD в PyTorch оберните модель в torch.nn.DistributedDataParallel после инициализации модели и установите номер ранга устройства, начиная с нуля:

from torch.nn.parallel import DistributedDataParallel
model = ...
model = model.to()
ddp_model = DistributedDataParallel(model, device_ids=[])

6. Управление устройствами

Массивные изменения в производительности происходят при управлении устройствами. И PyTorch, и TensorFlow хорошо применяют нейронные сети, но выполнение отличается.

TensorFlow

TensorFlow автоматически переключается на использование GPU, если он доступен. Есть контроль над GPU и тем, как к ним осуществляется доступ. Ускорение GPU автоматизировано. Это означает, что нет контроля над использованием памяти.

PyTorch

PyTorch использует CUDA для указания использования GPU или CPU. Модель не запустится без спецификаций CUDA для GPU и CPU. Использование GPU не автоматизировано, что означает лучший контроль над использованием ресурсов. PyTorch улучшает процесс обучения через контроль GPU.

7. Варианты использования для обеих платформ глубокого обучения

TensorFlow и PyTorch сначала использовались в их соответствующих компаниях. Став открытым исходным кодом, у них появилось много вариантов использования за пределами Google и Facebook.

TensorFlow

Исследователи Google в Google Brain Team впервые использовали TensorFlow для исследовательских проектов Google. Google использует TensorFlow для:

• Результатов поиска и автозаполнения.
• Речи в текст и голосовых технологий.
• Распознавания и классификации изображений.
• Систем машинного перевода.
• Обнаружения спама для Gmail.

Существует много вариантов использования за пределами Google. Например:

• Sinovation Ventures — классификация заболеваний и сегментация с использованием изображений сетчатки.
• PayPal — обнаружение мошенничества с глубоким переносом обучения и генеративным моделированием.
• China Mobile — системы глубокого обучения для обнаружения проблем в сетях, прогнозирования автоматизированных окон переключения и верификации операционных журналов.

PyTorch

PyTorch впервые использовался в Facebook лабораторией исследователей ИИ Facebook (FAIR). Facebook использует PyTorch для:

• Распознавания лиц и обнаружения объектов.
• Фильтрации спама и обнаружения фейковых новостей.
• Автоматизации ленты новостей и системы предложения друзей.
• Распознавания речи.
• Систем машинного перевода.

PyTorch с открытым исходным кодом. Теперь есть много вариантов использования за пределами Facebook, такие как:

• CheXNet — оценка вероятности пневмонии и тепловая карта рентгена грудной клетки с использованием сверточных нейронных сетей.
• Tesla Autopilot — компьютерное зрение в реальном времени для автономных транспортных средств.
• Uber AI Labs PYRO — вероятностный язык программирования для глубокого вероятностного моделирования. Прогнозирование и оптимизация сопоставления клиентов с водителями, оптимальных маршрутов и транспортных средств следующего поколения.

Что выбрать: PyTorch или TensorFlow?

PyTorch — любимый вариант среди программистов и научных исследователей. Научное сообщество предпочитает PyTorch, глядя на количество цитирований. С недавними функциями развертывания и продакшн, PyTorch — отличный вариант при переходе от исследований к продакшну.

Организации и стартапы обычно используют TensorFlow. Функции развертывания и продакшн дают TensorFlow хорошую репутацию в корпоративных вариантах использования. Визуализация с Tensorboard показывает элегантную презентацию клиентам.

PyTorch и TensorFlow — мощные библиотеки глубокого обучения, интенсивно развивающиеся. Сегодня между ними больше сходств, чем различий, и переход от одного к другому — бесшовный процесс.