Обучение большой нейросети выделяет 284 000 кг CO₂ — эквивалент выбросов 5 автомобилей за жизнь

Разработка и оптимизация крупных нейросетей — серьезный углеродный след

Недавние достижения в области искусственного интеллекта (ИИ) открыли новую эру крупных сетей, обучаемых на массивах данных. Эти сети демонстрируют резкие улучшения точности по нескольким базовым задачам обработки естественного языка (NLP).

Наиболее ресурсоемкие модели, в частности, достигают наивысших показателей. Однако обучение таких моделей требует огромного объема вычислительных ресурсов, которые требуют значительной энергии.

Недавно исследователи Массачусетского университета в Амхерсте опубликовали статью, в которой описали выбросы углекислого газа от моделей ИИ, проведя оценку жизненного цикла для обучения больших нейронных сетей.

Десять лет назад модели NLP можно было разрабатывать и обучать на обычном сервере или ноутбуке, но сейчас это не так. Сегодня высокоточные модели требуют множественных экземпляров TPU (тензорных процессоров) или GPU. Исследования и эксперименты с архитектурами моделей и гиперпараметрами еще больше повысили аппаратные затраты.

Питание такого оборудования в течение недель оставляет существенное воздействие на окружающую среду. Хотя часть этой энергии поступает из возобновляемых источников, она ограничена технологиями, которые у нас сейчас есть для ее генерации и хранения. Фактически, большинство мест не имеют достаточных возможностей для получения энергии из углеродно-нейтральных источников.

Выбросы углерода при обучении моделей NLP

В этом исследовании исследователи охарактеризовали выбросы углерода и затраты, возникающие при обучении больших нейронных сетей. Они оценили, сколько киловатт энергии требуется для разработки и настройки популярных моделей NLP. Затем они перевели это в приблизительные затраты на электроэнергию и выбросы углерода.

Оцененные выбросы CO2 от моделей NLP по сравнению с другими знакомыми видами потребления

Результаты показывают, что разработка и оптимизация большого конвейера NLP могут выделить 284 000 килограммов углекислого газа, что эквивалентно 5-кратным выбросам за всю жизнь среднего автомобиля (включая его производство).

Источник: arXiv:1906.02243

И финансовые, и экологические затраты пропорционально увеличиваются с размером моделей ИИ. Но как только вы добавляете функции настройки для дальнейшего улучшения точности модели, связанные затраты взрываются.

Более конкретно, функция настройки (также называемая поиском нейронной архитектуры) — итеративно подправляющая дизайн сети через интенсивный проб и ошибку — приводит к чрезвычайно высоким затратам при незначительных улучшениях производительности.

Учитывая текущие тренды в области ИИ, значение этого исследования огромно. Многие исследовательские центры ИИ игнорируют эффективность, так как модели сетей, обученные на обильных данных, оказались полезны в различных задачах.

Хотя существуют вычислительно эффективные алгоритмы, они редко используются на практике для оптимизации моделей NLP из-за их несовместимости с большинством распространенных фреймворков глубокого обучения, таких как TensorFlow и PyTorch.

По мнению исследователей, такие исследования должны проводиться для повышения осведомленности об обширном использовании ресурсов и продвижения осознанной практики и политики.