Обработка естественного языка: расширение цифровых процессов интеллектуальным голосом

Самое большое изменение в NLP за последние 10 лет — уход от традиционного распознавания паттернов в словах к подходам машинного и глубокого обучения.

NLP позволяет компьютерам читать текст, слышать речь, интерпретировать, измерять тональность и определять важные части. Современные машины анализируют больше языковых данных, чем люди, без усталости и последовательно, непредвзято.

«NLP важен, потому что помогает разрешить неоднозначность языка и добавляет полезную числовую структуру данным для многих downstream-приложений, таких как распознавание речи или текстовая аналитика», — говорит Кейн Путман, консультант по аналитике SAS UK & Ireland. «Это значит, что его можно применять во множестве бизнес-кейсов: анализ мошенничества и рисков, извлечение инсайтов о поведении клиентов. Фундаментально — нужно иметь хорошую аналитику данных и знать, чего хотите достичь, прежде чем вводить NLP в среду».

Развитие обработки естественного языка

Главное изменение за 10 лет — переход от традиционного распознавания паттернов к машинному и глубокому обучению. Недавние достижения в технике «встраивания слов» (word embedding) позволяют придавать семантический смысл отдельным словам или группам слов.

«Результат — высокоразмерный числовой вектор, позволяющий дальнейшее обучение моделей и анализ», — говорит Джо Мартин, старший менеджер по инженерии MathWorks. «Когда часть семантического смысла перенесена в числовое пространство, многие недавно разработанные техники глубокого обучения становятся доступны дизайнерам NLP-систем».

Например, многие системы используют рекуррентные нейросети с долгой краткосрочной памятью (LSTM), полезные для изучения связей между словами в предложениях, абзацах и других лингвистических блоках. Эти сети позволяют предсказывать следующее слово в последовательности или ассоциировать вероятности с несколькими следующими словами.

Больше, чем просто чат-бот

В традиционном NLP слова были просто словами — бессмысленными фразами, лишёнными смысла, устанавливаемого контекстом. Так мы обычно классифицируем чат-бота, ограниченного информацией, поданной в реальном времени.

«Для продвинутого NLP мы можем улучшить контекстуальное понимание, представляя слова как векторы чисел», — говорит Йохан Толл, исполнительный директор трансформаций IPsoft. «Вместо понимания слов как слов, это позволяет машине понимать сходство слов и фраз очень гибкими способами».

Например, понимание, что слово «контракт» имеет совершенно разный смысл в юридическом контексте по сравнению с гангстерским фильмом. В отличие от чат-бота, понимающего единственный поток информации и языка, это позволяет многофасетный разговор, адаптированный под требуемый контекст и тип языка.

По Толлу, продвинутый NLP — фасилитатор. «Фактически, большинство ИИ-разработок и цифровых инноваций включают форму интеллектуальной автоматизации процессов (IPA), McKinsey оценивает, что 50-70% задач в компаниях автоматизированы», — добавляет он. «Именно эта автоматизация, фасилитируемая NLP, позволяет развивать новые ИИ-приложения, позволяя организациям точно источники, организовывать и идентифицировать огромные объёмы ценной информации».

Улучшение клиентского опыта

С ростом eCommerce и расширением глобального рынка больше потребителей покупают онлайн. Для удовлетворения спроса организации принимают комбинацию next-gen технологий, включая NLP, для усиления клиентского опыта, улучшения репутации бренда и роста продаж. Исследование Aspect показало, что 92% респондентов признают ценность NLP в современном клиентском сервисе.

«Ключевое требование для передовичной организации — предложить универсальный омниканальный опыт, где клиенты имеют опцию автоматизированных самообслуживания, включая виртуальных ассистентов и чат-ботов на десктопе или мобильном, наряду с традиционными средствами коммуникации», — объясняет Стивен Болл, старший VP Europe & Africa в Aspect. «Истинные плоды автоматизированного самообслуживания можно собрать только если организации правильно внедряют эти технологии, и глубокое понимание NLP — ключ к этому.

«Крайне важно понять: успешная интеграция NLP — процесс, требующий времени, усилий и инвестиций в ИИ и связанные технологии, которые можно легко адаптировать под нужды компании, и, главное, достаточно продвинутые для сложных и меняющихся требований современного клиента. Для этого критично предлагать обучение NLP и технологиям для апскиллинга персонала и работать с внешними партнёрами для получения релевантного ИИ-опыта в краткосрочной и среднесрочной перспективе».

Добавление эмоций в NLP

Способность понимать, разочарован или зол ли человек по интонации, выбору слов и паузам между предложениями, до недавнего времени считалась уникально человеческим навыком. Расцветающая область — Эмоциональный анализ.

Эмоциональный анализ — форма NLP, определяющая эмоции автора из текста: страх, гнев, отвращение, фрустрация, волнение или грусть. «Одно применение — колл-центры: оператор хелплайна может адаптировать советы и язык, чтобы лучше удовлетворить потребность клиента, без того, чтобы звонящий явно заявлял уровень фрустрации», — комментирует Салли Эпштейн, ML-инженер, Cambridge Consultants.

Шире область — Тональный анализ (Sentiment Analysis), определяющий, позитивен, нейтрален или негативен фрагмент свободного текста. «Используя тональный анализ, можно эффективно искать огромные объёмы текстовых документов, постов в соцсетях, отзывов на продукты, извлекать значимые тренды», — добавляет Эпштейн. «Этот инсайт уже используется бизнесом для оценки потребительского удовлетворенности брендом». Главное — эти техники быстро масштабируются для извлечения инсайтов из разных региональных диалектов и языков.

Что дальше для NLP?

В будущем лучшее голосовое управление и распознавание речи — большая область для NLP. Хотя распознавание речи значительно улучшилось за последние годы, ещё есть путь до достаточно качественного для широкого использования. Часть прогресса придёт с лучшими моделями.

Ещё большая область — успешное применение переносного обучения (transfer learning) к NLP. Только в последний год стало возможно иметь предобученные модели глубокого обучения для переносного обучения в NLP, что значимо, так как переносное обучение давно существует для компьютерного зрения. Это огромный прорыв, позволяющий пользователю пользоваться одной предобученной моделью (с доработками) для самых разных задач текстовой аналитики — от тонального анализа до вопрос-ответных систем.

Статья Марка Венаблс.