Внутри IIoT-лаборатории RTI: от железа к продвинутым системам сборки и тестирования

«Убедись, что ты расскажешь им о программных системах, работающих в лаборатории», — напомнила мне моя команда, пока я готовился вести тур по Лаборатории Промышленного IoT (IIoT) RTI во время Silicon Valley издания Connext Conference. Пока стены лаборатории выстланы серверами, Raspberry Pi и другим железом, это базовое ПО, превращающее пространство в полностью функциональную тестовую среду. Наши внутренние инструменты оркестрации тесно интегрированы с внутренними пайплайнами сборки, тестирования и поддержки RTI.

Прежде чем погрузиться в детали, рассмотрите широту разработки ПО, которую поддерживает лаборатория. ПО RTI Connext запускается на более чем 100 комбинациях процессор/ОС/тулчейн — от мейнстрим Linux на Intel x86 до нишевых реально-временных ОС на кастомных встраиваемых платформах. Оно поддерживает множество сетевых транспортов и интерфейсов с различными базами данных. Наш набор библиотек покрывает C, C++, Java, C#, Ada, Lua, Python, JavaScript и Go, а наш портфель продуктов охватывает более 20 индивидуальных предложений. Чтобы держать легаси-клиентов счастливыми, мы поставляем патчи обратно к версиям ПО, которым десять лет.

В RTI мы операционируем собственной инфраструктурой сборки и тестирования. Хотя некоторые нагрузки могли бы мигрировать к облачным провайдерам вроде AWS, Azure или Atlassian Cloud, большая часть возможностей нашей лаборатории остается on-premises. Вот снимок того, что мы запускаем.

RTI IIoT лаборатория состоит из трех больших групп систем:

1. Кластер сборки и тестирования — запускающий различные x86/x64 виртуальные машины
2. Корпоративные и встраиваемые целевые машины тестирования — комбинация спецжелеза, реально-временных ОС и менее распространенных систем
3. Машины масштабируемости и производительности — набор мощных тестовых машин и большой банк Raspberry Pi плат

Кластер сборки и тестирования

Каждый день разработчики и наша система Непрерывной Интеграции (CI) запускают десятки сборок и тестовых прогонов на нашем кластере. Построенный на OpenStack и Ceph, кластер виртуализирует вычислительные и ресурсы хранения. Мы сейчас используем Atlassian Bamboo для CI, но переходим на Jenkins для преимущества современного CI/CD тулинга.

Еженедельно мы запускаем всеобъемлющий цикл сборки и регрессионного тестирования, охватывающий все поддерживаемые архитектуры, включая виртуальные машины и реальные корпоративные и встраиваемые цели.

Мы используем кастомные скрипты для автоматизации еженедельной сборки. Эти скрипты инициируют нативную и кросс-компиляцию, сбрасывают встраиваемые платы, выполняют тесты на корпоративных и встраиваемых целях, агрегируют результаты и выводят их на удобную для разработчика панель. Достижение последовательных результатов по гетерогенным платформам требует глубокой экспертизы в портировании ПО, понимании нюансов ОС и мастерстве встроенной автоматизации.

Корпоративные и встраиваемые целевые машины тестирования

Определенные тестовые цели не могут быть виртуализированы — наша лаборатория хостит AIX на IBM Power, Solaris на SPARC и даже openVMS на DEC Alpha системах. В одном уникальном случае мы перепрофилировали PlayStation 3 консоль для запуска Linux, предлагая стоимостно-эффективную альтернативу кастомным Cell-процессорным ригам. Мы также запускаем множество версий macOS и закаленные Redhawk Linux развертывания от Concurrent.

Большинство наших целей — встраиваемые, многие как SoC. Мы поддерживаем x86, PowerPC, MIPS, ARM (включая Zynq и NVIDIA Tegra X2) и широкий массив реально-временных ОС — VxWorks, VxWorks 653, Integrity, LynxOS, QNX, Nucleus, FreeRTOS, real-time Linux, DEOS и Intime. Когда клиенты предоставляют проприетарное железо, ОС и BSP, наша платформенная команда интегрирует стек, часто будучи первыми, валидирующими новое железо или BSP.

Машины масштабируемости и производительности

Третья группа включает высокопроизводительные x64 машины, изолированные для измерения латентности и пропускной способности, а также кластер Raspberry Pi для тестов сетевой топологии. Используя наш кастомный фреймворк «Polygraph», мы верифицируем протоколы обнаружения в масштабе, измеряя CPU, память, пропускную способность и латентность обнаружения. Наша исследовательская команда построила легкую систему для развертывания тестовых приложений и сбора результатов по большим кластерам.

Сетевое оборудование

Мы валидируем мидлварь против разнообразных сетевых технологий — 10/100 Mbps, Гигабит, 10 GbE, Wi-Fi, InfiniBand и даже спутниковые линки — симулируя потерю пакетов и коррупцию. Наш надежный кабель-менеджмент и беспроводной тестовый полигон позволяют стресс-тестировать функции Transport Mobility. Удаленный доступ облегчается через сетевые питание-свитчи и серийные серверы, позволяя инженерам по всему миру контролировать каждую систему откуда угодно.

Система сборки следующего поколения

Пока наша текущая инфраструктура хорошо служила нам, мы разрабатываем систему сборки следующего поколения для повышения продуктивности: более быстрые сборки, современные тулчейны вроде CMake, Conan.io, JFrog Artifactory, Docker и Jenkins; параллелизованное выполнение заданий; и упрощенное бронирование машин. Эта новая система еще больше усилит наших инженерных и релизных команды.

RTI IIoT Лаборатория работает 24/7, 365 дней в году, гарантируя, что миссионно-критические распределенные системы наших клиентов остаются надежными и высокопроизводительными. Оставайтесь в курсе для больших обновлений о предстоящей системе сборки.