ИИ переводит сложные научные статьи в понятные краткие резюме

Нейросеть на основе ротаций превращает научные тексты в простой английский

Исследователи разработали новую нейронную сеть, основанную на ранее неизученной идее — ротациях. Она может заменить существующие методы для решения реальных задач, таких как суммаризация текста, языковое моделирование и ответы на вопросы.

Научная статья обычно заполнена специализированными подходами и техническими терминами, что делает ее довольно трудной для понимания читателями без научной подготовки.

Недавно ученые из MIT и Катарского вычислительного исследовательского института придумали новую модель искусственного интеллекта (ИИ), которая может читать научные журналы и предоставлять краткое резюме на простом английском за пару предложений.

Хотя она дает гораздо лучшие результаты, чем предыдущие техники, она определенно не может заменить научных писателей и редакторов. Однако этот ИИ может помочь писателям просматривать большее количество журналов и получать представление о их содержании.

Исследовательская команда изначально пыталась разработать нейронные сети для решения определенных физических проблем, например, того, как свет ведет себя в сложных инженерных материалах.

Они вскоре поняли, что та же методология может использоваться для решения других сложных вычислительных задач, таких как распознавание речи и интерпретация естественного языка, гораздо более эффективными способами, чем существующие методы машинного обучения.

Что они на самом деле сделали?

В последние годы рекуррентная нейронная сеть (RNN) стала стандартной искусственной нейронной сетью для решения широкого спектра задач: от языкового моделирования до суммаризации текста и разработки чат-ботов.

Было разработано множество техник для улучшения способности коррелировать информацию из длинной цепочки данных. Самые популярные — это долгая кратковременная память (LSTM) и управляемые рекуррентные блоки (GRU). Но они все еще не демонстрируют впечатляющих возможностей памяти или эффективного воспоминания на синтетических задачах.

Именно поэтому исследователи разработали альтернативный подход под названием Ротационный блок памяти (RUM). В отличие от традиционных нейронных сетей, основанных на умножении матриц, RUM основан на вращении векторов в многомерном пространстве.

Источник: MIT Press Journals | doi:10.1162/tacl_a_00258 | MIT

Он использует вектор в многомерном пространстве (определенную линию, указывающую в определенном направлении) для представления каждого отдельного слова в тексте. Каждое последующее слово отклоняет вектор в определенном направлении в теоретическом пространстве, которое может содержать тысячи измерений. Полученный вектор (или группа векторов) затем преобразуется обратно в соответствующую строку слов.

В целом, RUM делает две вещи: он запоминает сложные последовательные динамики и точно воспроизводит информацию. Он также показывает многообещающую производительность для символьного языкового моделирования и ответов на вопросы.

Тестирование

Исследователи протестировали эту систему на numerosos научных статьях, включая их собственную статью, описывающую эти результаты, и сравнили результаты с традиционными нейронными сетями на базе LSTM и GRU.

Вместо того чтобы просто сканировать аннотации, RUM читает всю статью, чтобы сгенерировать простое резюме ее содержания. Резюме, созданное этой системой, содержало меньше технических терминов и повторяющихся слов. Хотя это не было элегантной прозой, оно затрагивало ключевые моменты данных.

Вы можете попробовать эту систему на своих задачах: код и демо доступны на GitHub.