Обработка естественного языка дает голос цифровым процессам

Самым большим изменением в обработке естественного языка за последние десять лет стал отказ от более традиционного распознавания образов в слова и перейти к машинному и глубокому обучению

Обработка естественного языка (NLP) позволяет компьютерам читать текст, слышать речь, интерпретировать ее, измерять настроение и определять, какие части важны. Современные машины могут анализировать больше языковых данных, чем люди, без усталости и последовательно и непредвзято.

«NLP важен, потому что он помогает устранить двусмысленность в языке и добавляет полезную числовую структуру к данным для многих последующих приложений, таких как распознавание речи или анализ текста», — говорит Кейн Путман, консультант по аналитике в SAS UK &Ireland. «Это означает, что его можно применять в самых разных случаях использования в бизнесе, таких как анализ мошенничества и рисков или получение информации о поведении клиентов. По сути, очень важно иметь хорошую аналитику данных и знать, чего вы хотите достичь, прежде чем внедрять НЛП в окружающую среду».

Разработка обработки естественного языка

Самым большим изменением в обработке естественного языка за последние десять лет стал отказ от более традиционного распознавания образов в словах и переход к подходам машинного и глубокого обучения. Недавно были достигнуты успехи в области техники «встраивания слов», которая позволяет приписывать определенную степень семантического значения отдельным словам или группам слов.

«В результате получается многомерный числовой вектор, который позволяет проводить дальнейшее обучение и анализ модели, — говорит Джос Мартин, старший инженер MathWorks. «После того, как часть семантического значения была перенесена в числовое пространство, многие другие недавно разработанные методы глубокого обучения становятся доступными для разработчиков систем НЛП».

Например, во многих системах используются рекуррентные нейронные сети с долговременной кратковременной памятью (LSTM), которые помогают больше узнать о взаимосвязях между словами в предложениях, абзацах и других лингвистических блоках. Эти типы сетей позволяют разработчику предсказать, каким может быть следующее слово в последовательности, или приписать вероятности следующим нескольким словам.

Больше, чем просто чат-бот

В традиционной обработке естественного языка слова были просто словами — несколько бессмысленными фразами, которым не хватало значения, установленного более широким контекстом. Это то, как мы обычно классифицируем чат-бота, который ограничен информацией, поступающей к нему в режиме реального времени.

«Для расширенной обработки естественного языка мы можем улучшить понимание контекста, представляя слова в виде векторов чисел», — говорит Йохан Толл, исполнительный директор по преобразованиям в IPsoft. «Вместо того, чтобы просто понимать слова как слова, это позволяет машине понимать сходство слов и сходство фраз очень гибкими способами».

Например, понимание того, что слово «контракт» имеет совершенно другое значение в юридическом контексте, чем в гангстерском фильме. В отличие от чат-бота, который понимает только один поток информации и язык, это позволяет вести многогранный разговор, адаптированный в соответствии с требуемым контекстом, в дополнение к типу используемого языка.

Согласно Толлю, продвинутое НЛП — это фасилитатор. «На самом деле, большинство разработок в области искусственного интеллекта и цифровых инноваций включают в себя ту или иную форму интеллектуальной автоматизации процессов (IPA). По оценкам McKinsey, от 50 до 70% задач в компаниях автоматизированы», — добавляет он. «Именно эта автоматизация, поддерживаемая НЛП, позволяет разрабатывать новые приложения ИИ, позволяя организациям точно находить, систематизировать и идентифицировать огромные объемы ценной информации. “

Повышение качества обслуживания клиентов

С ростом электронной коммерции и расширением глобального рынка все больше потребителей совершают покупки в Интернете, чем когда-либо прежде. Чтобы удовлетворить этот растущий спрос, организации внедряют комбинацию технологий следующего поколения, включая НЛП, для расширения клиентского опыта, улучшения репутации бренда и увеличения продаж. Исследование, проведенное в компании Aspect, показало, что 92 % респондентов признают ценность обработки естественного языка в современном обслуживании клиентов.

«Ключевым требованием для любой дальновидной организации является предоставление универсального многоканального опыта, когда клиенты имеют возможность использовать автоматизированные возможности самообслуживания, включая виртуальных помощников и настольных или мобильных чат-ботов, наряду с традиционными средствами связи», — Стивен Болл, старший вице-президент. Объясняет Европа и Африка в Aspect. «Истинные преимущества автоматизированного самообслуживания можно получить только в том случае, если организации правильно внедрят эти новые технологии, и ключом к этому является полное понимание технологии обработки естественного языка (NLP).

«Крайне важно понимать, что успешная интеграция обработки естественного языка — это процесс, который требует времени и усилий и требует инвестиций в ИИ и связанные с ним технологии, которые можно легко адаптировать в соответствии с потребностями компании и, что наиболее важно, достаточно продвинуты, чтобы удовлетворить сложные и изменчивые требования современного покупателя. Для этого крайне важно, чтобы компании предлагали НЛП и обучение технологиям для повышения квалификации персонала, а также работали с внешними партнерами, чтобы получить соответствующий опыт в области ИИ в краткосрочной и среднесрочной перспективе».

Добавление эмоций к обработке естественного языка

Способность понять, расстроен или зол человек, по интонации, выбранным словам и паузам между предложениями до недавнего времени считалась исключительно человеческим умением. Расцветающей областью исследований является анализ эмоций.

Анализ эмоций — это форма обработки естественного языка, которая позволяет определить эмоции автора по тексту. Эмоциями могут быть страх, гнев, отвращение, разочарование, волнение или даже печаль. «Одно из таких применений этой увлекательной технологии будет в колл-центрах — оператор службы поддержки может адаптировать свои советы и язык, чтобы лучше удовлетворить потребности клиента, при этом звонящему никогда не придется явно указывать уровень своего разочарования», — Салли Эпштейн, инженер по машинному обучению, Комментарии Cambridge Consultants.

Более широкой областью инноваций является анализ настроений, который используется для определения того, является ли часть текста произвольной формы положительной, нейтральной или отрицательной. «Используя анализ настроений, можно эффективно искать огромное количество текстовых документов, сообщений в социальных сетях или обзоров продуктов, чтобы выявить значимые тенденции», — добавляет Эпштейн. «Компании уже используют эту информацию для оценки удовлетворенности потребителей своим брендом».
Самое главное, что эти методы можно быстро масштабировать, чтобы получать информацию из разных региональных диалектов и языков.

Что дальше с обработкой естественного языка?

Что касается будущего, улучшенное голосовое управление и распознавание речи станут большой областью для обработки естественного языка. Несмотря на то, что за последние несколько лет распознавание речи значительно улучшилось, еще многое предстоит сделать, прежде чем оно станет достаточно хорошим для более широкого использования. Часть достижений в этой области будет достигнута за счет улучшения моделей.

Еще одной большой областью будет успешное применение трансферного обучения для обработки естественного языка. Только в течение последнего года стало возможным иметь предварительно обученные модели глубокого обучения для трансферного обучения в обработке естественного языка, что важно, потому что трансферное обучение существует дольше для компьютерного зрения. Это огромный прорыв, поскольку он позволяет пользователю использовать ту же предварительно обученную модель, хотя и с некоторыми изменениями, во всех видах задач текстовой аналитики — от анализа настроений до ответов на вопросы.

Статья Марка Венейблса.