Обучение большой нейронной сети, способной выделять 284 000 килограммов CO2

• При разработке и оптимизации большой нейронной сети может выделяться до 284 000 кг углекислого газа.
• Это в 5 раз больше выбросов, чем у среднего автомобиля.

Последние достижения в области искусственного интеллекта (ИИ) открыли новую эру больших сетей, обученных на массивных данных. Эти сети значительно улучшили точность при выполнении нескольких основных задач обработки естественного языка (NLP).

В частности, самые ресурсоемкие модели получили самые высокие оценки. Однако обучение таких моделей требует огромных вычислительных ресурсов, которые требуют значительных затрат энергии.

Недавно исследователи из Массачусетского университета в Амхерсте опубликовали статью, в которой они описали выбросы углекислого газа из моделей искусственного интеллекта, выполнив оценку жизненного цикла для обучения больших нейронных сетей.

Десять лет назад модели НЛП можно было разработать и обучить на обычном сервере или ноутбуке, но теперь это не так. Сегодня для высокоточных моделей требуется несколько экземпляров TPU (блоков тензорной обработки) или графических процессоров. Исследования и эксперименты с модельными архитектурами и гиперпараметрами еще больше увеличили стоимость оборудования.

Питание такого оборудования в течение нескольких недель оказывает существенное влияние на окружающую среду. Хотя часть этой энергии поступает из возобновляемых источников, она ограничена технологиями, которые у нас есть в настоящее время для ее генерации и хранения. Фактически, в большинстве мест достаточно оборудования для получения энергии из источников с нулевым выбросом углерода.

Выбросы углерода в результате обучения моделей НЛП

В этом исследовании исследователи охарактеризовали выбросы углерода и затраты в результате обучения больших нейронных сетей. Они подсчитали, сколько киловатт энергии нужно для разработки и настройки популярных моделей НЛП. Затем они пересчитали это в приблизительные затраты на электроэнергию и выбросы углерода.

Расчетные выбросы CO2 от моделей НЛП по сравнению с другим знакомым потреблением

Результаты показывают, что разработка и оптимизация большого трубопровода NLP может привести к выбросу 284 000 кг углекислого газа, что в 5 раз больше, чем выбросы среднего автомобиля (включая производственный процесс).

Ссылка:arXiv:1906.02243

Как финансовые, так и экологические затраты растут пропорционально размеру моделей искусственного интеллекта. Но как только вы добавите функции настройки для дальнейшего повышения точности модели, связанные с этим затраты резко возрастут.

В частности, функция настройки (также называемая поиском нейронной архитектуры) - итеративно изменяет структуру сети путем интенсивных проб и ошибок - приводит к чрезвычайно высоким затратам при небольшом улучшении производительности.

Учитывая текущие тенденции в области искусственного интеллекта, значение этого исследования огромно. Многие исследовательские центры искусственного интеллекта пренебрегают эффективностью, поскольку модели сетей, обученные на большом количестве данных, оказались полезными для решения различных задач.

Читайте:Искусственные листья могут уменьшить выброс углекислого газа в атмосферу

Хотя вычислительно эффективные алгоритмы существуют, они почти не используются на практике для оптимизации моделей НЛП из-за их несовместимости с наиболее распространенными фреймворками глубокого обучения, такими как TensorFlow и PyTorch.

По мнению исследователей, такого рода исследования следует проводить, чтобы повысить осведомленность о широком использовании ресурсов и способствовать осознанной практике и политике.