Инструмент ИИ точно прогнозирует скорость выполнения кода на чипах, превосходя модель Intel

Новый ML-инструмент предсказывает такты процессора

Исследователи MIT создали инструмент машинного обучения, который предсказывает, сколько тактов процессору потребуется для выполнения блока ассемблерного кода. Он работает быстрее, проще и точнее, чем современные ручные модели, используемые в статических анализаторах и компиляторах.

Определение количества тактов критически важно для инженеров по производительности и разработчиков компиляторов. Создание аналитической модели для современных архитектур — крайне сложная, ошибочная задача, которую приходится решать заново для каждого поколения чипов.

Три конференционные работы

1. Ithemal — нейросеть, обучаемая на размеченных базовых блоках кода. Предсказывает время выполнения необработанных блоков на заданном микропроцессоре.
2. BHive — бенчмарк-набор из 300 000 базовых блоков из криптографии, компиляторов, ML, графики. Ithemal предсказал скорость Intel точнее, чем собственная модель Intel (ошибка 10% против 20%).
3. Vemal — метод автоматического создания алгоритма векторизации кода для параллельных вычислений. Превосходит ручные алгоритмы в промышленных компиляторах, включая LLVM.

Данные вместо документации

Intel предоставляет подробную документацию по архитектуре, но только эксперты создают производительные модели, а проприетарная природа чипов скрывает важные детали.

Исследователи пошли иным путем: они замерили среднее число тактов для выполнения базовых инструкций (запуск команды, выключение, перезагрузка) с помощью нейросети. Модель автоматически профилирует миллионы блоков и постепенно учится, как разные архитектуры выполняют код — без анализа документации.

Ithemal принимает невидимые базовые блоки и выдает одно число — прогноз времени выполнения.

Результаты и перспективы

На тестах Ithemal показал ошибку 10% против 20% у модели Intel. Модель легко обучается на новых архитектурах: достаточно собрать данные с чипа, прогнать через профайлер и дообучить. Это работает для любой архитектуры, включая Google TPU.

Проблема: «черный ящик» — исследователи пока не знают, как именно модель делает предсказания. Следующее исследование будет направлено на интерпретируемость.