Как встраивания слов открывают новые термоэлектрические свойства

Поговорите сегодня с кем угодно, и вам скажут, что искусственный интеллект — это следующая большая вещь — горячая картошка, от которой все хотят откусить, но никто не может жевать.

Многие из них также скажут вам, что многое из того, что ходит вокруг ИИ, на самом деле просто реклама — прославление старого доброго машинного обучения и математики в Powerpoint. И по большей части они будут правы.

Однако одна из областей, в которой применение инструментов ИИ, таких как глубокое обучение, было не чем иным, как революционным, — это обработка естественного языка.

Простым примером являются чат-боты, управляющие веб-сайтами. Они управляются относительно сложными архитектурами глубокого обучения, называемыми нейронными сетями с долговременной кратковременной памятью (LSTM). Эти алгоритмы могут «понимать» то, что мы им говорим, и составлять в ответ разборчивые связные предложения. Конечно, этот бот не Сократ, но он не извергает случайную мешанину слов. Существует неопровержимое предположение о низком уровне интеллекта.

Вложения Word

Современная эра глубокого обучения в языковой обработке началась с публикации в 2013 году статьи Томаса Миколова word2vec. Их победа заключалась в разработке вычислительно возможного метода создания встраивания слов. или векторы слов с помощью нейронных сетей.

Рассмотрим слова мужчина, женщина, король и королева . Если вас попросили сгруппировать эти слова, у вас есть несколько разумных вариантов. Я склонен видеть [мужчину, женщину ] и [король, королева ]. Вы могли видеть [человек, король ] и [женщина, королева ].

<рисунок>

Встраивание слов фиксирует семантические отношения между словами в тексте. Из https://samyzaf.com/ML/nlp/nlp.html

Я также знаю, что слово король и мужчина связаны точно так же, как ‘женщина ’ и ‘королева ’.

мужчина:король =женщина:королева 

Даже если я никогда раньше не слышал этих слов, я могу узнать об этих отношениях, наблюдая за встречающимися предложениями. ‘Этот человек – король ’ , ‘Королева была благочестивой женщиной ’, ‘Она была королевой киноэкрана ’, ‘Его царство придет ’. Эти предложения наводят на мысль только по близости слов, что король в основном мужчина и что королева скорее всего женщина .

Встраивание слов делает то же самое, но для миллионов слов из тысяч документов. Ключевым моментом здесь является то, что слова изучаются из контекста. . Эта игра с математическими аналогиями становится возможной благодаря возможностям современных вычислений и магии глубокого обучения.

Внедрение слов для глубокого обучения

Допустим, мы хотим найти вложения для всех слов в Гарри Поттере. .

Сначала мы создаем нечто вроде математического хранилища-библиотеки-камеры. Чудовищный многомерный бегемот, достаточно большой, чтобы вместить все слова, которые нам нужны. Это векторное пространство. .

Цель состоит в том, чтобы пройти через Гарри Поттера слово за словом и помещать каждое слово в хранилище в камере. Подобные слова, такие как Платье и Плащ зайти в тот же сейф. Квиддич и Снитч находятся в соседних хранилищах. Автомобиль и Кентавр так же далеко, как Банан и Волдеморт .

Внедрение слова в слово — это адрес хранилища, в котором оно должно быть найдено. Математически это делает его вектор в векторное пространство .

Вы можете понять, почему ни один человек никогда не захочет эту работу. Слишком много слов и слишком много движений.

Однако нейронная сеть делает это исключительно хорошо. Он делает это, ну, по волшебству.

A глубокая нейронная сеть — это своего рода массивная машина с миллионами шестеренок и рычагов. Поначалу сплошной хаос и ничего ни с чем не стыкуется, хотя кругом тасовка. Затем постепенно некоторые шестерни начинают блокироваться. Рычаги становятся на свои места – и из хаоса возникает порядок. Машина начинает движение. Франкенштейн жив!

Язык здесь намеренно расплывчатый. Я хочу рассказать вам о применении встраивания слов, а не о том, как оно получается. Сказав это, на фундаментальном уровне мы не совсем знаем, как нейронные сети делают то, что они делают. Таким образом, в наших экспериментах мы должны поиграть с количеством слоев, функциями активации, количеством нейронов в каждом слое и т. д., прежде чем мы приступим к нашей задаче. Но это тема для другого дня.

Термоэлектрики

В статье, опубликованной в 2019 году, группа исследователей из лаборатории Лоуренса в Беркли создала словесные вложения всех рефератов примерно в 3,3 миллиона статей, опубликованных в 1000 журналах. Этот список, очевидно, огромен и охватывает почти все темы, опубликованные в области материаловедения за последние пару десятилетий.

Когда дело доходит до научного текста, химические формулы и символы также являются «словами». Следовательно, для LiCoO существует вектор слов. 2 – это обычный аккумуляторный катод. Затем вы можете задать такие вопросы, как:какие векторы слов ближе всего к LiCoO2?

Мы знаем, что LiCoO2 — вектор в векторном пространстве. Так что все, что нам нужно сделать, это найти векторы, которые находятся рядом.

Ответ получается как LiMn 2 О 4 , ЛиНи 0,5 Мн 1,5 О 4 , ЛиНи 0,8 Сотрудничество 0,2 О 2 , ЛиНи 0,8 Сотрудничество 0,15 Аль 0,05 О 2 и LiNiO 2 — все они также являются литий-ионными катодными материалами.

<рисунок>

Путь связи выбранных химических соединений со словом «термоэлектрический». Li2CuSb не имеет прямого отношения к «термоэлектрическому», но рядом с другими словами, которые являются индикаторами этого свойства, такими как «косвенная зона» и «оптоэлектроника». Из [2]

Видите, что мы здесь сделали?

Мы действительно пытались исследовать другие материалы, которые были бы похожи на наш любимый катод. Вместо того, чтобы читать тысячи статей, делать заметки и составлять список соединений лития, встраивание слов решило задачу за несколько секунд.

Это сила встраивания слов. Благодаря преобразованию семантических запросов в математические векторные операции этот подход позволяет нам лучше и эффективнее запрашивать и анализировать большие текстовые базы данных.

В качестве еще одного примера исследователи изучили, как часто рядом с вектором для «термоэлектричества находилось химическое соединение». ’. (Это материалы, которые преобразуют электрическую энергию в тепло или наоборот).

Вы можете сделать это с помощью прямой векторной операции, называемой скалярным произведением. У похожих векторов скалярное произведение приближается к единице. Скалярное произведение разнородных векторов близко к нулю.

Выполнив ту же операцию с химическими соединениями в базе данных и словом «термоэлектрический ’, авторы обнаружили все химические вещества, которые могут быть термоэлектрическими. .

<рисунок>

Вложения слов из абстрактной базы данных могут ответить на такие вопросы, как:если Zr гексагональный, то хром …? (По центру тела) Из [2]

Авторы продолжают показывать, что подобные отношения могут быть продемонстрированы для некоторых свойств материалов, таких как кристаллическая структура и сегнетоэлектричество. Кроме того, они показывают, что с помощью этого метода несколько современных термоэлектрических свойств можно было предсказать много лет назад на основании существующей литературы.

Анализ представляет собой очень красивое, элегантное, но обманчиво простое выражение вопроса «Из всех материалов, изученных человеком, какие из них, вероятно, будут термоэлектрическими». .

Базы данных нужны сейчас

Вы могли бы предположить, что у нас уже есть этот список — очевидно, кто-то записывает всю работу, которую мы делаем? Составление справочников по материалам и электронных баз данных?

Ответ - удивительное нет. Огромное количество знаний, которые мы накопили за эти годы, заключено в текстах, таких как книги, журналы и статьи. Их так много, что мы не можем просмотреть их вручную.

Именно поэтому встраивание слов и методы, продемонстрированные в этой статье, являются не чем иным, как революционными.
Они обещают изменить то, как мы взаимодействуем с текстом, и быстро ускорить нашу базу данных материалов.

Какие материалы изучались на предмет пьезоэлектричества? Есть ли сверхпроводник, который мы пропустили в литературе? Есть ли новый препарат, способный вылечить болезнь Альцгеймера?
Спросите встраивание слова. Они бы знали.