Запуск 16 384 Windows-приложений на Linux-суперкомпьютере за всего 5 минут

• Исследователи MIT разработали модель, которая одновременно запускает 16 384 Windows-приложений на Linux-суперкомпьютерах в течение 5 минут.
• Для этого они использовали технологию Lincoln Lab LLMapReduce вместе с Wine — слоем совместимости Windows.

Поскольку темп закона Мура замедляется, стало необходимым использовать параллельную обработку для повышения производительности приложений. Нейронные сети, физические симуляции и приложения анализа данных развиваются с значительной скоростью, и они используют силу параллельной обработки для достижения своих целей производительности.

Для запуска таких данных-интенсивных приложений требуется несколько программ на основе определенных операционных систем, вроде Microsoft Windows, которая имеет долгий опыт реализации параллельных вычислений.

Однако топ-500 суперкомпьютеров мира работают на Linux, и они способны выполнять интерактивные приложения на тысячах ядер за секунды. Обычно виртуальные машины (VM) используются для запуска Windows-программ на Linux-компьютерах, что налагает много накладных расходов на приложения.

Выполнение множественных VM на суперкомпьютере может занимать несколько секунд (иногда минут) на виртуальную машину. Масштабирование их до тысяч ядер в существующих суперкомпьютерах определенно вызывает проблемы с эффективностью и производительностью, делая трудно одновременный запуск кучи Windows-приложений на суперкомпьютере.

Теперь команда исследователей MIT придумала новую технику, которая быстро запускает и выполняет Windows-приложения на тысячах процессоров на современном суперкомпьютере. В частности, они продемонстрировали запуск 16 000 Windows-приложений в течение 5 минут (каждое приложение обрабатывается одним ядром).

Как это работает?

Для быстрого запуска Windows-приложений на Linux-суперкомпьютере исследователи использовали технологию Lincoln Lab LLMapReduce (многоуровневый map-reduce) вместе со слоем совместимости Windows Wine. Для высокопроизводительных вычислений многоуровневое планирование слегка меняет код анализа для обработки многочисленных датасетов с одним запуском задания.

Программный стек MIT SuperCloud поставляется с простым в использовании интерфейсом, дающим доступ к LLMapReduce для эффективного запуска тысяч задач на кластер, уменьшая сложное параллельное планирование, разрешение зависимостей и задачи отправки заданий до одной строки кода, в то же время увеличивая производительность задачи за счет минимизации задержки каждой задачи.

Поскольку LLMapReduce не основан на каком-то конкретном языке, он работает с любым исполняемым файлом, что делает его идеальным для одновременного запуска многочисленных экземпляров Wine.

Компоненты планировщика SLURM | По материалам исследователей

Они использовали планировщик заданий с открытым кодом под названием Slurm Workload Manager для быстрой идентификации ресурсов, их выделения задачам, планирования выполнения задач на выделенных ресурсах, их запуска, мониторинга задачи во время её выполнения и выполнения очистки эпилога при завершении задачи.

Ссылка: arXiv:1808.04345

Результаты

Время запуска и скорость запуска Windows-экземпляров

Исследователи реализовали свою систему на суперкомпьютере, содержащем 648 вычислительных узлов (каждый узел имеет не менее 64 ядер обработки Xeon Phi) с общим количеством 41 472 ядер. Они выполнили один экземпляр Windows на 1,2,4,8…256 узлах, за которым следовали 2,4,8…64 экземпляров на каждом из 256 узлов, что дало им в сумме 16 384 одновременных экземпляров.

Читайте также: Единицы обработки памяти могут эффективно реализовывать алгоритмы ИИ

Все эти экземпляры заняли почти 5 минут для выполнения, позволяя широкий спектр исполняемых Windows-приложений на суперкомпьютерах. Команда планирует расширить эту способность на большее количество процессоров, выполняющих более разнообразные программы.