Запустите 16 384 приложения Windows на суперкомпьютере Linux всего за 5 минут

• Исследователи MIT разработали модель, которая одновременно запускает 16 384 приложения Windows на суперкомпьютерах Linux в течение 5 минут. 
• Для этого они использовали технологию Lincoln Lab LLMapReduce вместе со слоем совместимости Wine с Windows.

Поскольку темпы действия закона Мура снижаются, возникла необходимость использовать параллельную обработку для повышения производительности приложений. Нейронные сети, приложения физического моделирования и анализа данных развиваются со значительной скоростью, и они используют возможности параллельной обработки для достижения своей цели по производительности.

Для запуска таких приложений с интенсивным использованием данных вам потребуется несколько программ на базе определенных операционных систем, например Microsoft Windows, которая имеет большой опыт реализации параллельных вычислений.

Однако 500 лучших суперкомпьютеров мира работают на Linux и способны выполнять интерактивные приложения на тысячах ядер за считанные секунды. Обычно виртуальные машины (ВМ) используются для запуска программ Windows на компьютерах Linus, что накладывает большие нагрузки на приложения.

Запуск нескольких виртуальных машин на суперкомпьютере может занять несколько секунд (иногда минут) на каждую виртуальную машину. Масштабирование их до тысяч ядер в существующем суперкомпьютере, безусловно, повышает эффективность и производительность, затрудняя одновременный запуск множества приложений Windows на суперкомпьютере.

Теперь группа исследователей из Массачусетского технологического института разработала новую технику, которая позволяет быстро запускать и выполнять приложения Windows на тысячах процессоров современного суперкомпьютера. В частности, они продемонстрировали запуск 16 000 приложений Windows за 5 минут (каждое приложение обрабатывается одним ядром).

Как это работает?

Чтобы быстро запускать приложения Windows на суперкомпьютере Linux, исследователи использовали технологию Lincoln Lab LLMapReduce (многоуровневое сокращение карты) вместе со слоем совместимости Wine с Windows. Для высокопроизводительных вычислений многоуровневое планирование слегка меняет код анализа для обработки множества наборов данных за один запуск задания.

Программный стек MIT SuperCloud имеет простой в использовании интерфейс, который обеспечивает доступ к LLMapReduce для эффективного запуска тысяч задач в кластере, сокращая сложное параллельное планирование, разрешение зависимостей и задания отправки задач до одной строки кода, одновременно увеличивая производительность задач за счет минимизации задержки каждой задачи.

Поскольку LLMapReduce не основан на каком-либо конкретном языке, он работает с любым исполняемым файлом, что делает его идеальным для одновременного запуска нескольких экземпляров Wine.

Компоненты планировщика SLURM | С разрешения исследователей

Они использовали планировщик заданий с открытым исходным кодом под названием Slurm Workload Manager, чтобы быстро идентифицировать ресурсы, распределять их по задачам, планировать выполнение задач на выделенных ресурсах, запускать их, отслеживать задачу во время ее выполнения и выполнять очистку эпилога после завершения задачи.

Ссылка:arXiv:1808.04345

Результаты

Время запуска и частота запуска экземпляров Windows

Исследователи реализовали свою систему на суперкомпьютере, содержащем 648 вычислительных узлов (каждый узел имеет не менее 64 вычислительных ядер Xeon Phi) с общим числом ядер 41 472. Они выполнили один экземпляр Window на 1,2,4,8…256 узлах, а затем 2,4,8…64 экземпляра на каждом из 256 узлов, что дало им в общей сложности 16 384 одновременных экземпляра.

Читайте:Блоки обработки памяти могут эффективно реализовывать алгоритмы искусственного интеллекта

Выполнение всех этих экземпляров заняло почти 5 минут, что позволило использовать на суперкомпьютерах широкий спектр исполняемых приложений Windows. Команда планирует распространить эту возможность на большее количество процессоров, выполняющих более разнообразные программы.