GLTR: надежный статистический инструмент для идентификации ИИ-сгенерированного текста

Новый статистический метод обнаруживает контент, созданный ИИ

Он работает, выявляя тексты, которые слишком предсказуемы, а не просто помечая ошибки в текстах.

В последнее десятилетие сообщество обработки естественного языка свидетельствовало рост все более крупных и умных языковых моделей.

В эпоху искусственного интеллекта и глубоких нейронных сетей, оснащенных человеческим естественным языком, исследователи Гарвардского университета и IBM Research разработали статистический метод для обнаружения компьютерно-генерированного текста.

Они создали интерактивный инструмент (доступный публично) для различия естественного человеческого языка и текста, сгенерированного машинами из человеческой речи. Цель — дать людям больше информации, чтобы они могли принимать взвешенное решение о том, что фейк, а что реально.

Модели ИИ обычно обучаются на миллионах текстов (взятых из всемирной паутины). Они предсказывают слова, которые чаще всего следуют друг за другом, чтобы имитировать человеческий язык. Например, слово «You» статически с наибольшей вероятностью сопровождается словами «were», «have» и «are».

Используя эту методологию, исследователи построили инструмент, который обнаруживает тексты, которые слишком предсказуемы [вместо пометки ошибок в текстах]. Он позволяет ИИ и людям работать вместе для идентификации машино-генерированного языка.

Как это работает?

Новая техника — названная Giant Language model Test Room (GLTR) — основана на модели, обученной примерно на 45 миллионах текстов с веб-сайтов. У нее есть доступ к одной из крупнейших публично доступных моделей, GPT-2.

Таким образом, она может наблюдать, что GPT-2 предсказала бы в каждой позиции (для любого текстового ввода) и эффективно работает против GPT-2 и многих других моделей.

GLTR представляет визуальный форензический инструмент для идентификации автоматически сгенерированных текстов. Он показывает 3 разные гистограммы, агрегирующие информацию по всему тексту.

Источник: The Harvard Gazette | GitHub

Просто введите абзац в поле инструмента, и он подсветит все слова четырьмя разными цветами, каждый из которых обозначает предсказуемость слова в контексте того, что ему предшествует. Фиолетовый означает, что слово непредсказуемо; красное — слегка предсказуемо; желтое — умеренно предсказуемо; зеленое показывает высокопредсказуемые слова в абзаце.

Вот как выглядит машино-генерированный абзац –

Первая гистограмма показывает, сколько слов из каждой категории появляется в абзаце. Вторая показывает отношение между вероятностями наиболее предсказанного слова и следующего слова. Третья гистограмма представляет распределение по энтропии предсказания.

Конечно, неопределенность будет выше для человеческих текстов, особенно для научных статей и академических текстов. Вот как выглядит аннотация научной статьи (о галактиках EAGLE) –

Исследовательская команда также протестировала свой новый инструмент с группой выпускников компьютерных наук. Студенты смогли обнаружить 50% компьютерно-генерированных абзацев, однако с помощью этого инструмента они идентифицировали 72%. Процент может стать еще лучше с небольшой тренировкой с системой.