Строгое программное тестирование в RTI: обеспечение надежности во всем Connext DDS

ПО RTI питает бесчисленные миссионно-критические системы. Наши клиенты требуют высшей надежности и качества, поэтому мы открыто обсуждаем наши практики разработки, инструментарий и RTI IIoT лабораторию при встречах с ними. Частая тема — программное тестирование, которое мы выполняем — область, в которой мы очень гордимся. Этот пост описывает всеобъемлющую стратегию тестирования за каждым RTI релизом.

Семейство продуктов Connext разделяет единый процесс разработки и тестирования. Единственное исключение — Connext DDS CERT, который следует отдельному процессу, адаптированному для сертифицированных по безопасности приложений. Прежде чем любой новый софт выпускается, мы запускаем обширный набор тестов, валидирующих функциональность, производительность и масштабируемость.

Модульные тесты

Модульные тесты подтверждают, что отдельные функции ведут себя как ожидается. Они образуют костяк нашего регрессионного тестирования для каждого релиза продукта. Помимо простых проверок функций, фреймворк поддерживает тестирование функций на одном узле и даже включает клиентские QoS-настройки в недавних релизах. Наша цель — эмулировать реалистичные операционные среды везде, где возможно.

Функциональные тесты

Когда добавляется новая функция, мы создаем план функционального тестирования и разрабатываем end-to-end тесты. Для Connext DDS Micro мы используем распределенный тестовый фреймворк, использующий множество «тестовых бегунов» на отдельных машинах, координируемых центральным «тестовым менеджером». Пользовательский DDS тестовый язык описывает каждый сценарий, а бегуны выполняют скрипты, публикуют результаты PASS/FAIL и ждут следующей команды. Функциональные тесты фокусируются на:

• API на уровне приложения и DDS QoS политики (deadline, liveliness и др.)
• Лимиты ресурсов
• Кросс-эндианность совместимость
• Механизмы обнаружения
• Метрики производительности
• Стабильность под нагрузкой

Тестирование интероперабельности

• Внутри продуктов RTI — автоматизированные тесты запускают тысячи комбинаций конфигураций, особенно после релизов функций вроде Connext 6. Старые версии RTI тестируются, когда мы выявляем потенциальные риски поломки.
• Языковая интероперабельность — тесты выполняются косвенно, комбинируя Java-инструменты RTI (например, RTI Admin Console) с приложениями, написанными на других языках.
• С другими DDS-вендорами — регулярные базовые тесты происходят на встречах OMG DDS, в то время как более глубокие проверки DDS Security, Extensible Types и RTPS wire-протокола координируются через OMG сообщество (https://github.com/omg-dds).

Тесты установки

Тесты установки захватывают интеграцию и интероперабельность через множество продуктов RTI. Они запускаются вручную и через автоматизированный набор, покрывающий:

• Корректность установки файлов
• Интеграцию графического интерфейса (в настоящее время вручную)
• Точность документации
• Базовую функциональность с поставляемыми примерами, включая Getting Started Guide, по множеству платформ
• Продуктовую и языковую интероперабельность

Автоматизированные тесты установки верифицируют:

• Целостность установки через проверки файлов
• Выполнение утилит (rtiddsping, rtiddsspy, rtiprototyper)
• Примеры, сгенерированные rtiddsgen на C, C++, C++03, C++11, C++ CLI, C# и Java (статические/динамические, release/debug)
• Поставляемые примеры с различными конфигурациями сборки
• Примеры производительности на C++ и Java
• TCP-примеры на C

Эти тесты запускаются на 80 уникальных архитектурах, включая Windows, Linux, Solaris, Lynx, QNX, Darwin и VxWorks.

Профилирование производительности и памяти

Реалистичные распределенные тесты производительности по своей природе сложны. Наши инструменты спроектированы для измерения ключевых метрик: размер буферов, пропускная способность, латентность, реально-временная доставка, использование стека, взаимодействия с ОС.

• Модульные тесты захватывают производительность и использование памяти на уровне функций.
• perfTest профилирует общую производительность Connext DDS. Он обширно настроен для реалистичных измерений и может запускаться вместе с другими продуктами вроде Routing Service. Публичные данные латентности и пропускной способности доступны на RTI benchmarks.
• memTest мониторит ядро памяти Connext DDS Core. Connext DDS Micro также записывает детальное использование памяти во время модульных тестов.
• Приложения вроде RTI Admin Console и RTI Recording Service включают встроенный мониторинг производительности.

Непрерывная интеграция perfTest и memTest предотвращает регрессии за пределами предопределенного порога по мере добавления новых функций.

Тесты выносливости

Эти тесты симулируют долгоработающие сценарии, мониторя использование кучи во время динамических операций вроде создания/удаления участников или конечных точек. Фреймворк выносливости также фаззит RTPS пакеты при запуске с RTI Security плагинами, все выполняются против последнего Generally Available Release.

Большие масштабы и стресс-тестирование

Большие тесты намеренно строятся вокруг новых функций. Например, введение Transport Mobility потребовало тестов, эмулирующих подключение/отключение к различным беспроводным точкам доступа. Улучшение обнаружения запустило выделенный фреймворк, симулирующий тысячи конечных точек, автоматически верифицирующий успех обнаружения. Хотя эти тесты не перезапускаются с каждым релизом из-за ограничений оборудования и сети, они перезапускаются при изменении логики обнаружения.

Хотя никакая программа тестирования не может покрыть каждый возможный сценарий, всеобъемлющий, многогранный подход RTI дает клиентам уверенность в каждом новом релизе.

Об авторе

Ян присоединился к RTI в 2006 после более чем двух десятилетий технических и клиенто-ориентированных ролей в Sun Microsystems, VLSI Technology и других отраслевых лидерах. С экспертизой, охватывающей мидлварь, grid-приложения, дизайн ОС и разработку сетевых чипов, Ян помог построить рекордные 98% удовлетворенности клиентов в новой поддержке организации. Как VP Engineering, он ведет распределенную команду 60+ инженеров, надзирая за R&D, процессами разработки ПО и качеством продукта для RTI Connext. Ян имеет степень MS-эквивалент в Электронике, Цифровых Коммуникациях (Summa Cum Laude) от KIHK, Geel, Бельгия.

Узнайте больше:

• Автономное производстве автомобилей
• Что такое DDS?
• Connext DDS Pro