Тестирование на основе моделей - Model-based testing

Общие настройки тестирования на основе модели

Тестирование на основе модели это приложение модельно-ориентированный дизайн для проектирования и, возможно, также выполнения артефактов для выполнения тестирование программного обеспечения или же системное тестирование. Модели могут быть использованы для представления желаемого поведения тестируемая система (SUT), или для представления стратегий тестирования и тестовой среды. Картинка справа изображает первый подход.

Модель, описывающая SUT, обычно является абстрактным частичным представлением желаемого поведения SUT. Тестовые примеры, производные от такой модели, представляют собой функциональные тесты на том же уровне абстракции, что и модель. Эти тестовые примеры в совокупности известны как набор абстрактных тестов Набор абстрактных тестов не может быть выполнен напрямую для SUT, потому что набор находится на неправильном уровне абстракции. исполняемый набор тестов должен быть получен из соответствующего абстрактного набора тестов. Исполняемый набор тестов может напрямую связываться с тестируемой системой. Это достигается путем сопоставления абстрактных тестовых примеров с конкретными тестовыми примерами, подходящими для выполнения. В некоторых средах тестирования на основе моделей модели содержат достаточно информации для непосредственного создания исполняемых наборов тестов, в других - элементы в набор абстрактных тестов должны быть сопоставлены с конкретными операторами или вызовами методов в программном обеспечении для создания конкретный набор тестов. Это называется решением «проблемы отображения».^[1]В случае онлайн-тестирования (см. Ниже) абстрактные наборы тестов существуют только концептуально, но не как явные артефакты.

Тесты можно выводить из моделей разными способами. Поскольку тестирование обычно является экспериментальным и основано на эвристике, не существует известного единого наилучшего подхода для получения результатов тестирования. Обычно все параметры, связанные с созданием тестов, объединяются в пакет, который часто называют «требованиями тестирования», «целью тестирования» или даже прецедент (ы) ». Этот пакет может содержать информацию о тех частях модели, на которых следует сосредоточиться, или условиях завершения тестирования (критерии остановки теста).

Поскольку наборы тестов являются производными от моделей, а не из исходного кода, тестирование на основе моделей обычно рассматривается как одна из форм черный ящик.

Тестирование сложных программных систем на основе моделей - все еще развивающаяся область.

Модели

Особенно в Модельно-ориентированная инженерия или в группе управления объектами (мой Бог s) управляемая моделями архитектура, модели строятся до или параллельно с соответствующими системами. Модели также могут быть построены из готовых систем. Типичные языки моделирования для генерации тестов включают: UML, SysML, основные языки программирования, нотации конечных машин и математические формализмы, такие как Z, B (Событие-B ), Сплав или же Coq.

Развертывание тестирования на основе моделей

Пример рабочего процесса тестирования на основе модели (создание автономного тестового случая). IXIT относится к дополнительная информация о реализации и относится к информации, необходимой для преобразования абстрактного набора тестов в исполняемый. Обычно IXIT содержит информацию о тестовой проводке, сопоставлениях данных и конфигурации SUT.

Существуют различные известные способы развертывания тестирования на основе моделей, в том числе: онлайн-тестирование, автономная генерация исполняемых тестов, и автономная генерация тестов, развертываемых вручную.^[2]

Онлайн-тестирование означает, что инструмент тестирования на основе моделей напрямую подключается к SUT и тестирует его динамически.

Автономное создание исполняемых тестов означает, что инструмент тестирования на основе моделей генерирует тестовые примеры в виде машиночитаемых ресурсов, которые впоследствии могут быть запущены автоматически; например, коллекция Python классы, которые воплощают сгенерированную логику тестирования.

Автономное создание тестов, развертываемых вручную, означает, что инструмент тестирования на основе моделей генерирует тестовые примеры в виде удобочитаемых ресурсов, которые впоследствии могут помочь в ручном тестировании; например, PDF-документ на человеческом языке, описывающий сгенерированные шаги теста.

Алгоритмическое получение тестов

Эффективность тестирования на основе моделей в первую очередь связана с возможностью автоматизации, которую оно предлагает. Если модель является машиночитаемой и формальной в той степени, в которой она имеет четко определенную поведенческую интерпретацию, тестовые примеры в принципе могут быть получены механически.

Из конечных автоматов

Часто модель переводится или интерпретируется как конечный автомат или система перехода состояний. Этот автомат представляет возможные конфигурации тестируемой системы. Чтобы найти тестовые примеры, автомат ищет исполняемые пути. Возможный путь выполнения может служить тестовым примером. Этот метод работает, если модель детерминированный или может быть преобразован в детерминированный. Ценные нестандартные тестовые примеры могут быть получены путем использования неопределенных переходов в этих моделях.

В зависимости от сложности тестируемой системы и соответствующей модели количество путей может быть очень большим из-за огромного количества возможных конфигураций системы. Чтобы найти тестовые примеры, которые могут охватывать подходящее, но конечное количество путей, необходимы критерии тестирования, которые будут определять выбор. Этот метод был впервые предложен Оффуттом и Абдуразиком в статье, в которой началось тестирование на основе моделей.^[3] Рашби разработал множество методов для генерации тестовых примеров.^[4] Критерии тестирования описаны в виде общих графиков в учебнике по тестированию.^[1]

Доказательство теорем

Доказательство теорем первоначально использовался для автоматического доказательства логических формул. Для подходов к тестированию на основе моделей система моделируется набором предикаты, определяя поведение системы.^[5] Чтобы получить тестовые примеры, модель разбивается на классы эквивалентности над правильной интерпретацией набора предикатов, описывающих тестируемую систему. Каждый класс описывает определенное поведение системы и, следовательно, может служить тестовым примером. Простейшее разбиение осуществляется с помощью подхода дизъюнктивной нормальной формы, в котором логические выражения, описывающие поведение системы, преобразуются в дизъюнктивная нормальная форма.

Программирование логических ограничений и символьное выполнение

Ограниченное программирование может использоваться для выбора тестовых примеров, удовлетворяющих определенным ограничениям, путем решения набора ограничений по набору переменных. Система описывается с помощью ограничений.^[6] Решение набора ограничений может быть выполнено с помощью логических решателей (например, SAT-решателей на основе Проблема логической выполнимости ) или числовой анализ, словно Гауссово исключение. Решение, найденное путем решения набора формул ограничений, может служить тестовым примером для соответствующей системы.

Программирование в ограничениях можно комбинировать с символьным исполнением. В этом подходе модель системы выполняется символически, то есть собирает ограничения данных по различным путям управления, а затем использует метод программирования ограничений для решения ограничений и создания тестовых примеров.^[7]

Проверка модели

Модельные шашки также может использоваться для генерации тестовых примеров.^[8] Первоначально проверка модели была разработана как метод проверки допустимости свойства спецификации в модели. При использовании для тестирования проверяющей модели предоставляется модель тестируемой системы и свойство для тестирования. В рамках процедуры проверки, если это свойство действительно в модели, средство проверки модели обнаруживает свидетелей и контрпримеры. Свидетель - это путь, на котором свойство удовлетворяется, тогда как контрпример - это путь в исполнении модели, где свойство нарушается. Эти пути снова можно использовать в качестве тестовых примеров.

Генерация тестового примера с использованием тестовой модели цепи Маркова

Цепи Маркова являются эффективным способом проведения модельно-ориентированного тестирования. Тестовые модели, реализованные с помощью цепей Маркова, можно понимать как модель использования: она называется тестированием на основе использования / статистической модели. Модели использования, то есть цепи Маркова, в основном состоят из двух артефактов: Конечный автомат (FSM), который представляет все возможные сценарии использования тестируемой системы, и рабочие профили (OP), которые квалифицируют FSM для представления того, как система используется или будет использоваться статистически. Первый (FSM) помогает узнать, что может быть или уже было протестировано, а второй (OP) помогает получить операционные тестовые примеры. Тестирование на основе использования / статистической модели начинается с фактов, которые невозможно полностью протестировать и которые отказ может появиться с очень низкой частотой.^[9] Этот подход предлагает прагматический способ статического получения тестовых примеров, которые направлены на повышение надежности тестируемой системы. Тестирование на основе использования / статистической модели недавно было расширено для применения во встроенных программных системах.^[10][11]

Смотрите также

• Доменный язык (DSL)
• Доменно-ориентированное моделирование (DSM)
• Модельно-управляемая архитектура (MDA)
• Модельно-ориентированная инженерия (MDE)
• Объектно-ориентированный анализ и дизайн (OOAD)
• Тестирование временных разделов (TPT)

Рекомендации

дальнейшее чтение

• Профиль тестирования OMG UML 2; [2]
• Bringmann, E .; Кремер, А. (2008). «Модельно-ориентированное тестирование автомобильных систем» (PDF). Международная конференция по тестированию, проверке и валидации программного обеспечения, 2008 г.. Международная конференция по тестированию, верификации и валидации программного обеспечения (ICST). С. 485–493. Дои:10.1109 / ICST.2008.45. ISBN  978-0-7695-3127-4.
• Практическое тестирование на основе моделей: инструментальный подход, Марк Аттинг и Бруно Легерд, ISBN  978-0-12-372501-1, Морган-Кауфманн 2007.
• Модельно-ориентированное тестирование и анализ программного обеспечения с помощью C #, Джонатан Джеки, Маргус Вианес, Колин Кэмпбелл и Вольфрам Шульте, ISBN  978-0-521-68761-4, Издательство Кембриджского университета, 2008 г.
• Модельное тестирование реактивных систем Продвинутая серия лекций, LNCS 3472, Springer-Verlag, 2005. ISBN  978-3-540-26278-7.
• Хун Чжу; и другие. (2008). AST '08: Материалы 3-го Международного семинара по автоматизации тестирования программного обеспечения. ACM Press. ISBN  978-1-60558-030-2.
• Сантос-Нето, П .; Resende, R .; Падуа, К. (2007). «Требования к тестированию информационных систем на моделях». Материалы симпозиума ACM 2007 по прикладным вычислениям - SAC '07. Симпозиум по прикладным вычислениям. С. 1409–1415. Дои:10.1145/1244002.1244306. ISBN  978-1-59593-480-2.
• Роденрийс, Э. (весна 2010 г.). «Модельно-ориентированное тестирование добавляет ценности». Методы и инструменты. 18 (1): 33–39. ISSN  1661-402X.
• Систематический обзор поддержки инструментов тестирования на основе моделей, Мухаммад Шафик, Иван Лабиш, Карлтонский университет, технический отчет, май 2010 г.
• Зандер, Юстина; Шифердекер, Ина; Мостерман, Питер Дж., ред. (2011). Модельно-ориентированное тестирование встроенных систем. Вычислительный анализ, синтез и проектирование динамических систем. 13. Бока-Ратон: CRC Press. ISBN  978-1-4398-1845-9.
• Опрос пользователей модельного тестирования 2011/2012: результаты и анализ. Роберт В. Биндер. System Verification Associates, февраль 2012 г.