Искусственный интеллект может генерировать речь на основе нейронной активности

• Исследователи используют повторяющуюся нейронную сеть, чтобы помочь парализованным людям, которые не могут общаться.
• Сеть преобразует нейронную активность в акустику речи.
• Это может помочь пациентам общаться без ограничений словаря с естественной скоростью речи.

Многие неврологические состояния приводят к потере связи, в результате чего пациенты полностью полагаются на вспомогательные устройства. Эти устройства позволяют им набирать предложения посимвольно со скоростью до 10 слов в минуту. Однако эта скорость слишком мала по сравнению с повседневным разговором, который происходит со скоростью около 150 слов в минуту.

Чтобы обеспечить гораздо более высокую или даже естественную скорость общения, исследователи из Калифорнийского университета в Сан-Франциско использовали биомиметический подход, который подчеркивает движения голосового тракта и звук, который они производят.

Они показали, что можно генерировать синтезированную речь прямо из сигналов мозга. Эти сигналы точно координируют примерно 100 мышц, двигая губами, языком, челюстью и гортани, преобразуя дыхание в звуки, которые в конечном итоге формируют слова и предложения.

Команда записала сигналы электрокортикографии высокой плотности от 5 участников, лечившихся от эпилепсии (неврологического расстройства). Всех участников попросили читать предложения вслух, пока электроды, помещенные на поверхность их мозга, измеряли результирующие сигналы.

Рекуррентная нейронная сеть

Исследователи разработали рекуррентную нейронную сеть для декодирования сигналов коры головного мозга с явным промежуточным представлением артикуляционной динамики и, в конечном итоге, для синтеза слышимой речи.

Ссылка:Природа | DOI:10.1038 / s41586-019-1119-1 | Калифорнийский университет в Сан-Франциско

Нейронная сеть обучается на звуке участников, произносящих предложения вслух, а также на корковых сигналах. Для обучения алгоритма они использовали оптимизатор ADAM. Для первого и второго этапов обучения использовались пакеты размером 256 и 25 соответственно.

Многослойная сеть глубокого кодера-декодера явно включала сигналы мозга для декодирования основного физиологического коррелята нейронной активности, а затем преобразовывала его в акустику речи. Он был оптимизирован для декодирования акустики прямо с электродов.

Синтез речи на основе нейронно-декодированных речевых предложений | Предоставлено исследователями

Это статистическое отображение позволяет делать обобщения с ограниченными наборами обучающих данных. Исследователи смогли добиться удовлетворительных результатов с 25-минутной речью, и производительность постоянно увеличивалась по мере того, как они вводили больше данных.

Что дальше?

В исследовании представлен передовой метод решения серьезного препятствия, создаваемого пациентами, страдающими неврологическими расстройствами. Согласно результатам обобщения, говорящие разделяют аналогичное кинематическое представление в пространстве состояний, которое не зависит от говорящего. Знания о модели - отображение кинематики и звука между участниками - можно передавать.

Использование этого низкоразмерного представления нейронной активности разных людей может облегчить обучение интерфейсу мозг-компьютер. Полученные данные могут открыть новые возможности для восстановления речи у пациентов с параличом.

Прочтите:AI может читать исследовательские статьи и предоставлять простое резюме

Нейронная сеть, разработанная в этом исследовании, дает возможность общаться с неограниченными словарями с естественной скоростью речи. Этот подход прямого синтеза речи захватывает просодические элементы речи, включая интонацию высоты тона, которые недоступны при выводе текста. Более того, это может быть проще и интуитивно понятно для пациентов, у которых кортикальная обработка артикуляции еще не нарушена.