Конвергентные технологии позволяют использовать Elasticsearch в миллиардном масштабе

Цифровая конвергенция происходит повсюду вокруг нас, поскольку технологии, которые изначально не были связаны друг с другом, объединяются новыми захватывающими способами. IPhone - прекрасный пример, в котором телефон сочетается с компьютером, камерой и сенсорами, чтобы обеспечить незабываемые впечатления.

Конвергенция не новость во встроенном пространстве. Встроенные устройства традиционно подвергались более строгим ограничениям памяти и обработки и использовали конвергенцию как способ получить лучшее из многих технологических областей. Таким образом, поскольку мы находимся только в начале конвергенции технологий разного масштаба, с кажущимися несопоставимыми технологиями, которые обещают объединиться, чтобы разрушить существующие отрасли и открыть новые возможности, встроенное пространство также выиграет. Одним из нововведений является использование ближайшего соседа k-NN (k-NN) с обработкой ускорения в памяти для предоставления ответов почти в реальном времени для операций Elasticsearch в миллиардном масштабе.

Elasticsearch - это поисковая система, которая принимает запросы JSON для поиска документов и доставляет данные JSON в качестве результатов. Формат данных Elasticsearch - это документ со структурированными данными, закодированными в JSON. Elasticsearch начинался как поисковая система по тексту, но база данных может охватывать любой тип данных, причем каждый документ имеет уникальный идентификатор и тип данных.

Поскольку структура «свободна от схемы», она позволяет определять документы в соответствии с потребностями пользователя. Примеры документов в базах данных Elasticsearch:

• Изображения, используемые для идентификации поисковых запросов потребителей.
• Журналы сетевых данных, используемые для выявления сетевых вторжений, аномалий или дисбаланса нагрузки.
• Квитанции о продуктах используются для определения моделей покупок клиентов и улучшения управления запасами.
• Сетевая архитектура, используемая для автоматического совместного использования и репликации.
• Текстовые документы, используемые для поиска конкретных литературных произведений.
• Текстовые документы с сопоставлением "один ко многим", используемые для компьютерного перевода.

Elasticsearch был разработан для распространения. Он масштабируемый по инфраструктуре и гибкий для работы на локальном сервере, удаленном сервере или в облаке. Благодаря открытой и удобной структуре API расширяемая поисковая система может легко использоваться с плагинами. Один из таких плагинов от GSI Technology, который предлагает ряд преимуществ, включая аппаратное ускорение k-NN, использование векторов для мультимодального поиска и объединение результатов оценки.

Elasticsearch полагается на поддержку распределенных вычислений для масштабируемости, а его молниеносная скорость составляет порядка секунд для поиска в миллионных базах данных. Благодаря своей распределенной природе и поддержке сегментирования, Elasticsearch позволяет дублировать данные, распараллеливая поиск и ускоряя его для более крупных баз данных. Распределенная функциональность, обеспечиваемая отправкой HTTP-команды, также позволяет выполнять множественный поиск с разным разрешением с помощью встроенного устройства - один на локальных ресурсах, а другой отправляется на вышестоящие ресурсы.

Core Elasticsearch использует сложное в вычислительном отношении исчерпывающее сопоставление (сопоставить все), что замедляет его или делает довольно дорогостоящим использование дублированного оборудования для поддержки крупномасштабного поиска в базе данных. Одним из методов, который можно использовать для увеличения размера базы данных, является поиск k-NN. Он работает, сначала ища сходства в общих группировках, а затем выполняя окончательный поиск в этих одной или нескольких группировках. Этот метод также позволяет выполнять большой поиск в базе данных на серверах граничного масштаба вместо облачных вычислительных ферм для приложений, чувствительных к задержкам.

Сложный с точки зрения вычислений подход

Хотя k-NN предоставляет Elasticsearch методологию для поддержки очень больших баз данных, таких как базы данных с миллиардами записей и выше, она требует исчерпывающих вычислений. В результате у k-NN возникла проблема с ускорением из-за ограничений перемещения баз данных между ядрами GPU или CPU.

Одно из самых больших ограничений для ускорения рабочей нагрузки - это ограничение обмена данными между процессорами и памятью. Главный недостаток архитектуры фон Неймана, используемой в современных процессорах, - это накладные расходы на передачу данных между процессорами и хранилищем. ЦП должен выходить и получать данные для каждой выполняемой операции.

Эта архитектура еще более неэффективна в среде ускорения разгрузки. Производительность таких систем ограничена скоростью, с которой данные могут обмениваться через память хостом, запрашивающим операции, а также вычислительными механизмами, выполняющими операции.

Архитектуры, которые уменьшают поток данных из памяти, изучаются, чтобы помочь облегчить узкое место фон Неймана. Однако узкое место особенно очевидно при работе с приложениями искусственного интеллекта, интенсивно использующими память. Работа приложений, связанных с ИИ, зависит от быстрого и эффективного перемещения огромных объемов данных в памяти. Обученные базы данных необходимо загрузить в рабочую память и векторизовать входные запросы. Затем их необходимо обработать и загрузить для работы функций сравнения.

Одной из проверенных технологий, уже пользующихся успехом на рынке, является блок ассоциативной обработки (APU). Прелесть ускорения в памяти заключается в том, что хранилище само становится процессором. Это не массивный массив процессорных ядер с кэш-памятью поблизости, а скорее массив памяти с вычислительными модулями, встроенными в архитектуру строки чтения.

Таким образом, APU отличается наличием массива памяти, способного ускорять вычисления. Было доказано, что этот тип «ускоренного» процессора на несколько порядков увеличивает производительность при одновременном снижении энергопотребления рабочих нагрузок стандартных серверов.

Конвергенция Elasticsearch, k-NN и ускорения APU обеспечивает меньшую задержку и больше запросов в секунду. Это также дает возможность обеспечить поддержку поиска в базе данных в миллиардном масштабе при меньшем энергопотреблении, чем традиционные системы, использующие только ЦП или системы с ускорением на графическом процессоре. Во встроенном пространстве Elasticsearch может предоставить средства для выполнения локального поиска на пограничном устройстве, одновременно отправляя HTTP-запрос для более глубокого поиска в сети. Различные результаты могут быть либо объединены для получения более точного ответа, либо могут быть включены только новые исключения.

Крайнее граничное устройство может использовать ресурсы ЦП для поиска скорости в соответствующей локальной базе данных. Затем использование множителя плотности APU позволяет эффективно выполнять сетевые запросы Elasticsearch на пограничном сервере или агрегаторе вместо отправки в облако. Рассмотрим роботов, которые могут принимать автономные решения, но при этом получают подтверждение резервной копии или корректировки курса в результате более глубокого поиска. Подумайте об автоматизированных транспортных средствах, которые принимают немедленные решения на основе набора правил и местных условий, отправляя информацию через шлюз с дорожными знаками и получая обратно дорожную информацию и инструкции по вождению.

В будущем будет интересно увидеть, какие новые возможности откроет это сближение.