ИИ и понимание семантики — следующий этап эволюции НЛП близок

ИИ близок к пониманию семантики как следующего шага в своей эволюции

ИИ — это неправильное название, по крайней мере, так часто предполагают. Первая буква — искусственная — правильная. Что же касается второго слова — ну, ничего умного в нем нет. Возьмем, к примеру, семантику. В искусственных технологиях, понимающих смысл предложений, абзацев и книг, нет ничего хоть отдаленно разумного или иного, по той простой причине, что в этом нет ничего плохого.

Но может ли это измениться? Недавно мы встретились с Хадаятом Седдики, директором по машинному обучению в юридической технической компании InCloudCounsel. Он считает, что ИИ близок к пониманию семантики в качестве следующего шага в своей эволюции. Мы спросили:«Когда мы, скорее всего, достигнем этой вехи?»

SEO:если вы писатель, который гордится своим письмом, применяя свой лексикон для выражения идеи без повторения, то вы, вероятно, ненавидите SEO. Если вам нравится приводить сложные аргументы, которые на самом деле могут быть выражены только в предложении, главе, статье или даже книге, тогда SEO, из-за того, что он сводит ваши глупые аргументы к двум, трем или четырем словам, такие как ИИ и понимание семантики, является врагом. (Видите, что мы там сделали?)

Было бы здорово, если бы поиск с использованием ИИ для понимания семантики (ну вот опять) мог создавать результаты поиска на основе гораздо более сложного — умного, если хотите — понимания, избавляя от необходимости утомительного повторения!

На самом деле ожидается, что к 2025 году рынок обработки естественного языка достигнет 22,3 млрд долларов США, что показывает, насколько далеко продвинулись технологии, особенно в том, как мы общаемся и ведем бизнес.

В настоящее время эти технологии используются в организациях для различных целей, включая мониторинг репутации брендов для анализа настроений, предоставление информации о местах размещения рекламы с помощью сопоставления ключевых слов или устранения неоднозначности смысла, и даже могут использоваться в соответствии с нормативными требованиями, чтобы убедиться, что продукты не соответствуют действительности. не стать обузой.

В этом случае истинная способность ИИ революционизировать отрасли и определять ключевые бизнес-идеи заключается в его способности читать текст и понимать семантику (или взаимосвязь между словами), чтобы помочь организациям еще больше снизить риски и выявить обязательства. В свою очередь, это создает огромную ценность в обработке естественного языка.

Итак, в истории с ИИ, обеспечивающим понимание семантики, каков следующий шаг в его эволюции и когда мы, вероятно, достигнем этой вехи?

Седдики говорит:«Достижение семантического понимания в ИИ потребует нескольких ключевых этапов. Полезно думать с точки зрения итеративного прогресса, ведущего нас к семантическому пониманию ИИ и того, что означает каждый этап».

«Предыдущая веха», — говорит Седдики, — это Word Vectors:«Давайте сформулируем эту веху с точки зрения распространенного варианта использования, с которым знакомо большинство людей:функции поиска на компьютере. Каждый использовал Ctrl+F/Command+F, чтобы найти что-то в своей системе, которая находит то, что вы ищете, точно сопоставляя ключевые слова. Кроме того, использование поисковой системы, такой как Google, для поиска информации будет включать компонент проверки орфографии для устранения потенциальных ошибок.

«Но как насчет слов, которые выглядят совершенно по-разному, но означают сходные вещи? Примерно в 2013 году сообщество ИИ нашло эффективный способ моделирования этого, названный «векторами слов». Вы можете заниматься забавной алгеброй слов, например, Король + Женщина даст вам Королеву. С практической точки зрения теперь вы можете расширить поиск, включив в него семантически связанные слова».

Предстоящая веха в понимании семантики ИИ

«Векторы слов изменили правила игры, но они по-прежнему требовали, чтобы вы выражали свою идею с помощью одного или нескольких ключевых слов. Но что, если для выражения вашей идеи требуется целое предложение? Это следующая веха, к которой мы приближаемся благодаря большому толчку исследований в прошлом году.

«Идея состоит в том, что вы можете взять предложение, закодировать его в вектор предложения (или мысли), а затем найти похожие векторы предложений. При правильном кодировании ваша функция поиска может найти совершенно разные предложения, выражающие одну и ту же идею.

«Основываясь на текущем прогрессе исследований, можно сказать, что эта технология будет усовершенствована в ближайшие несколько лет.

Вехи будущего:ИИ понимает не только предложения

«Существует четкая модель иерархии, возникающая в развитии этой технологии. Мы приближаемся к тому, чтобы ИИ понимал идеи на уровне предложений, используя аналогичные методы на уровне слов и масштабируя их. Это открывает перед ИИ интересные возможности для понимания идей, требующих абзацев, целых документов или даже целых книг.

«Недавний скачок ИИ к пониманию предложений из слов не был тривиальным, поскольку способность делать это в значительной степени ограничивалась размером набора данных и вычислительной мощностью. До сих пор было показано, что наша способность создавать модели для решения этих более серьезных проблем зависит от этих двух ограничений ресурсов.

«Поскольку эти затраты снижаются благодаря достижениям в аппаратном обеспечении ИИ, мы увидим, что приближаемся к моделям, которые понимают большие наборы текста. Это в некоторой степени подтверждается моделью GPT-2 Open AI, которая показывает, что использование одних и тех же моделей кодирования предложений с большим объемом данных создает модели, которые уже понимают концепции высокого уровня во многих предложениях. Например, GPT-2 понимает достаточно, чтобы писать целые новостные статьи с удивительной последовательностью.