Microsoft представляет прорыв в конверсационном ИИ с продвинутой многофункциональной нейросетью

Microsoft устанавливает новые рекорды в области конверсационного ИИ

Они разработали улучшенную версию многофункциональной глубокой нейронной сети (Multi-Task DNN) для обучения текстовым представлениям по различным задачам понимания естественного языка.

Надежные и универсальные языковые представления важны для получения хороших результатов в различных задачах обработки естественного языка (NLP). Ансамблевое обучение — один из самых эффективных подходов для улучшения обобщающей способности модели. До сих пор разработчики использовали его для достижения передовых результатов в различных задачах понимания естественного языка (NLU), от машинного чтения с пониманием до ответов на вопросы.

Однако такие ансамблевые модели содержат сотни моделей глубоких нейронных сетей (DNN) и довольно дороги в реализации. Предобученные модели, такие как GPT и BERT, также очень дороги для развертывания. GPT, например, состоит из 48 трансформерных слоев с 1,5 миллиарда параметров, в то время как BERT имеет 24 трансформерных слоя с 344 миллионами параметров.

В 2019 году Microsoft представила свой собственный алгоритм обработки естественного языка (NLP), названный Multi-Task DNN. Теперь они обновили этот алгоритм для получения впечатляющих результатов.

Расширение дистилляции знаний

Исследовательская команда сжала несколько ансамблевых моделей в одну Multi-Task DNN, используя дистилляцию знаний. Они использовали ансамблевую модель [в автономном режиме] для генерации мягких целей для каждой отдельной задачи в обучающем наборе данных. По сравнению с жесткими целями, они предлагают более полезные данные на обучающий образец.

Возьмем предложение для примера: «I had a good chat with John last evening», настроение в этой фразе вряд ли будет отрицательным. Однако предложение «We had an intriguing conversation last evening» может быть либо отрицательным, либо положительным, в зависимости от контекста.

Источник: arXiv:1904.09482 | Microsoft Research Blog

Исследователи использовали как правильные цели, так и мягкие цели по различным задачах для обучения одной MT-DNN. Они использовали ускоренный cuDNN фреймворк глубокого обучения PyTorch для обучения и тестирования новой модели на GPU NVIDIA Tesla V100.

Результаты

Они сравнили дистиллированную MT-DNN с обычной MT-DNN и BERT. Результаты показывают, что дистиллированная MT-DNN превосходит обе модели с значительным отрывом в плане общего балла на тесте General Language Understanding Evaluation (GLUE), который используется для проверки производительности системы на широком спектре лингвистических явлений.

Балл теста GLUE

Тест включает 9 задач NLU, включая семантическую схожесть, текстовое влечение, анализ настроений и ответы на вопросы. Данные содержат несколько сот пар предложений из разных источников, таких как академические и энциклопедические тексты, новости и социальные медиа.

Все эксперименты, проведенные в этом исследовании, ясно показывают, что языковое представление, выученное через дистиллированную MT-DNN, более универсально и надежно, чем у обычной MT-DNN и BERT.

В आनेющие годы исследователи попытаются найти лучшие способы комбинирования жестких правильных целей и мягких целей для многофункционального обучения. И вместо сжатия сложной модели в более простую, они изучат лучшие способы использования дистилляции знаний для улучшения производительности модели независимо от ее сложности.