ИИ теперь визуализирует ваши мысли — японские исследователи создают реконструкцию изображений по активности мозга

Японские исследователи разработали ИИ, который буквально может видеть, что вы воображаете.

Система использует глубокую реконструкцию изображения из активности человеческого мозга.

После начального обучения DNN смог реконструировать картинки, которые он никогда не видел раньше.

Недавние достижения

До сих пор фМРТ (функциональная магнитно-резонансная томография), основанная на технике машинного обучения, позволяла нам видеть перцептивный контент. Но она была ограничена низкоуровневой реконструкцией изображений.

В прошлом году достижения в нейронауке позволили нам декодировать визуальную корковую активность в иерархические уровни глубокой нейронной сети (DNN).

Предсказанные уровни могли использоваться для обнаружения воображаемых категорий объектов из массива вычисленных признаков для разных изображений объектов. Декодирование воображаемых объектов раскрывает прогрессивную рекрутментацию высокоуровневых визуальных представлений в низкоуровневые. Это предложило нам технику использования данных из иерархических визуальных признаков.

Новая техника реконструкции изображения

Теперь японские ученые придумали технику реконструкции изображения, которая оптимизирует пиксельные значения изображения для соответствия его признакам DNN, извлеченным как множественные слои активности человеческого мозга.

Система анализирует сигналы, поступающие от фМРТ-сканера в реальном времени, используя DNN, который далее воссоздает то, что люди видят. Для обучения системы картинки природного мира показывались и ИИ, и участникам, чтобы сеть могла точно определить паттерн потока крови в мозге, пока люди воспринимают разные фото.

После первой фазы обучения (10 недель) DNN смог реконструировать картинки (в реальном времени), которые он никогда не видел раньше, как цифры и буквы алфавита.

Они учатся так же, как человеческие экстрасенсы — путем угадывания. Он знает, как выглядят ваши мозговые волны, когда вы думаете о конкретном числе. Система визуализирует ваши мысли, угадывая выход, который вы хотите увидеть, основанный на вашей мозговой активности.

В отличие от людей, он может делать много угадываний. Он берет все данные, которые у него есть (извлеченные из мозговых волн в форме DNN) и превращает их в изображение. Система делает это снова и снова, пока не воссоздаст осмысленное изображение.

Что дальше?

Из всех недавних разработок искусственного интеллекта, эта звучит как научная фантастика. Эта технология может быть действительно полезна для людей, которые не могут говорить. Пока ей не хватает совершенства, когда речь идет о чтении мыслей, поэтому исследование нуждается в дальнейших улучшениях.

Между тем, в будущем некоторые более продвинутые подходы ИИ могут открыть новые режимы общения. Как мы сказали ранее, возможности безграничны.