Microsoft представил рекордную языковую модель на 17 млрд параметров

Turing Natural Language Generation (T-NLG)

Microsoft анонсировал T-NLG — крупнейшую в мире языковую модель с 17 млрд параметров. Генерирует реферативные саммари, прямые ответы на вопросы, завершает предложения. Отвечает так же точно, прямо и плавно, как человек.

Крупные модели (GPT-2, BERT) с миллиардами параметров, обученные на всём интернете, улучшили NLP: понимание документов, диалоговые агенты, QA. Наблюдение: большие модели с разнообразными данными работают лучше даже на малых выборках. Эффективнее обучить одну массивную модель и делиться ею между задачами, чем тренировать отдельные.

Обучение T-NLG

Один GPU (даже 32 ГБ) не тянет миллиарды параметров. Нужна параллелизация модели или тензорное нарезание (tensor slicing) по нескольким GPU.

Использовано: NVIDIA DGX-2 (быстрая меж-GPU связь) + tensor slicing на 4×V100. Библиотека DeepSpeed и оптимизатор Zero — эффективное обучение на меньшем числе GPU.

Результаты на бенчмарках

• LAMBADA (next word prediction): T-NLG выше точности vs SOTA трансформеры.
• Wikitext-103 (perplexity): T-NLG ниже перплексии (лучше).
• Question Answering: человеческие асессоры оценивали грамматическую/фактическую корректность. T-NLG лучше LSTM (CopyNet-подобной).
• Abstractive Summarization: обучение на публичных датасетах саммаризации. Сравнение с PEGASUS и пред. версией по ROUGE — T-NLG выигрывает.

Применение

Прорыв в конверсационном ИИ. Интеграция в Microsoft Office: саммаризация писем/документов, помощь в письме, ответы на вопросы читателей. Более точные, плавные цифровые ассистенты и чат-боты для продаж и CRM.