Открытие новых термоэлектрических материалов с помощью векторных представлений слов

Поговорите с кем угодно сегодня — скажут, что искусственный интеллект — следующая большая вещь, «горячая картошка», которую все хотят, но никто не может проглотить.

Большинство добавит, что многое, что продается как ИИ — это просто хайп, glorification (прославление) старого доброго машинного обучения и математики в PowerPoint. И в основном они правы.

Однако есть область, где применение инструментов ИИ, таких как глубокое обучение, стало не менее чем революционным — обработка естественного языка (NLP).

Пример — чат-боты на сайтах. Они работают на относительно сложных архитектурах глубокого обучения — рекуррентных нейронных сетях LSTM (Long Short Term Memory). Эти алгоритмы могут «понимать» наши реплики и собирать связные предложения в ответ. Конечно, этот бот не Сократ, но он не выдает случайный набор слов. Есть неоспоримое указание на некоторое низкоуровневое интеллектуальное поведение.

Векторные представления слов (Word Embeddings)

Современная эра глубокого обучения в NLP началась с публикации в 2013 году статьи Томаси Миколова word2vec. Их триумф — вычислительно выполнимый метод генерации векторных представлений слов (word embeddings/vectors) с помощью нейронных сетей.

Рассмотрим слова мужчина, женщина, король, королева. Если бы вас попросили сгруппировать их, у вас есть несколько здравых вариантов. Я вижу [мужчина, женщина] и [король, королева]. Вы могли видеть [мужчина, король] и [женщина, королева].

Векторные представления улавливают семантические отношения между словами в тексте. Источник: https://samyzaf.com/ML/nlp/nlp.html

Я также знаю, что король и мужчина связаны так же, как женщина и королева.

мужчина:король = женщина:королева

Даже если я никогда не слышал этих слов, я могу выучить эти отношения, наблюдая предложения: «Этот мужчина — король», «Королева была богобоязненной женщиной», «Она царствовала как королева серебряного экрана», «Его царство придет». Эти предложения через близость слов подсказывают, что король в основном мужчина, а королева — скорее всего женщина.

Векторные представления делают то же самое, но для миллионов слов из тысяч документов. Ключ — слова учатся из контекста. То, что позволяет эту математическую игру аналогий — мощь современных вычислений и магия глубокого обучения.

Глубокие векторные представления слов

Допустим, мы хотим найти эмбеддинги для всех слов в «Гарри Поттере».

Сначала создаем математическую хранилище-библиотеку-камеру. Многомерный гигант, способный вместить все нужные слова. Это векторное пространство.

Цель — пройти по «Гарри Поттеру» слово за словом и положить каждое в ячейку хранилища. Похожие слова как Платье и Плащ попадают в одну ячейку. Квиддич и Снич — в соседние. Машина и Кентавр так же далеко, как Банан и Волан-де-Морт.

Векторное представление слова — это адрес ячейки, где оно находится. Математически это вектор в векторном пространстве.

Понятно, почему ни один человек не захочет эту работу. Слишком много слов и перемещений.

Нейросеть справляется исключительно хорошо. Она делает это, ну, магией.

Глубокая нейросеть — гигантская машина с миллионами шестеренок и рычагов. Сначала хаос, ничего не совпадает, хотя всё перемешивается. Затем шестеренки начинают зацепляться. Рычаги встают на места — порядок рождается из хаоса. Машина оживает. Франкенштейн жив!

Язык намеренно расплывчатый. Я хочу привести вас к применению эмбеддингов, а не к их получению. Сказав это, на фундаментальном уровне мы не до конца знаем, как нейросети делают то, что делают. Поэтому в экспериментах мы подбираем число слоев, функции активации, нейронов в слое и т.д. Но это тема для другого дня.

Термоэлектрика

В статье 2019 года команда Лоуренс-Беркли лаборатории сгенерировала векторные представления всех абстрактов ~3,3 млн статей из 1000 журналов. Огромный список, охватывающий почти каждую тему материаловедения за последние десятилетия.

В научном тексте химические формулы и символы тоже «слова». Значит, есть вектор для LiCoO2 — распространенного катода литий-ионных батарей. Можно спросить: какие ближайшие векторы к LiCoO2?

Мы знаем, что LiCoO2 — вектор в пространстве. Надо найти близкие векторы.

Ответ: LiMn2O4, LiNi0.5Mn1.5O4, LiNi0.8Co0.2O2, LiNi0.8Co0.15Al0.05O2 и LiNiO2 — все также литий-ионные катодные материалы.

Путь связи выбранных химических соединений со словом «термоэлектрический». Li2CuSb не связано напрямую, но близко к словам-индикаторам этого свойства: «косвенная зона», «оптоэлектроника». Из [2]

Видите, что мы сделали?

Мы исследовали другие материалы, похожие на наш любимый катод. Вместо чтения тысяч статей, конспектирования и составления списка литийных соединений, векторные представления решили задачу за секунды.

Власть векторных представлений: переводя семантические запросы в математические векторные операции, подход позволяет запрашивать и понимать большие текстовые базы эффективнее.

Еще пример: исследователи изучали, как часто химическое соединение встречается рядом с вектором «термоэлектрика» (материалы, преобразующие электрическую энергию в тепло и наоборот).

Можно сделать через скалярное произведение векторов. Похожие векторы имеют скалярное произведение, стремящееся к единице. Непохожие — близко к нулю.

Выполняя операцию для химических соединений базы и слова «термоэлектрика», авторы нашли все химикаты, вероятно являющиеся термоэлектриками.

Векторные представления из базы абстрактов могут отвечать на вопросы: Если Zr — гексагональный, то Хром — …? (Объемно-центрированный) Из [2]

Авторы показывают, что аналогичные отношения демонстрируются для кристаллической структуры, сегнетоэлектричности. Доказывают, что с этой техникой несколько современных термоэлектриков могли быть предсказаны годами ранее из существующей литературы.

Анализ — прекрасное, элегантное, коварно простое выражение вопроса: «Из всех материалов, изученных человечеством, какие, вероятно, являются термоэлектрическими?»

Базы данных материалов — острая необходимость

Можно подумать, что у нас уже есть этот список — кто-то ведь записывает всю проделанную работу? Справочники материалов и электронные базы?

Ответ удивительный: нет. Огромное количество накопленных знаний заперто в текстах — книгах, журналах, статьях. Их так много, что вручную просканировать невозможно.

Именно поэтому векторные представления и продемонстрированные техники — не менее чем революционны. Они обещают изменить способ взаимодействия с текстом и резко ускорить наполнение баз данных материалов.

Какие материалы изучали для пьезоэлектричности? Есть ли сверхпроводник, упущенный в литературе? Новое лекарство от Альцгеймера?
Спросите векторные представления. Они знают.