Случайное тестирование - Википедия - Random testing

Случайное тестирование представляет собой метод тестирования программного обеспечения в виде черного ящика, при котором программы тестируются путем генерации случайных независимых входных данных. Результаты вывода сравниваются со спецификациями программного обеспечения, чтобы убедиться, что тестовый вывод прошел или не прошел.[1] В случае отсутствия спецификаций используются исключения языка, что означает, что если во время выполнения теста возникает исключение, это означает, что в программе есть ошибка, это также используется как способ избежать предвзятого тестирования.

История случайного тестирования

Случайное тестирование оборудования было впервые исследовано Мелвин Брейер в 1971 г., и первые попытки оценить его эффективность были предприняты Пратимой и Вишвани Агравал в 1975 г.[2]

Что касается программного обеспечения, Duran и Ntafos изучили случайное тестирование в 1984 году.[3]

Использование проверки гипотез в качестве теоретической основы для случайной проверки было описано Хауденом в Функциональное тестирование и анализ. В книге также содержится разработка простой формулы для оценки количества тестов. п которые необходимы для уверенности хотя бы 1-1 /п при частоте отказов не более 1 / n. Формула является нижней границей пбревноп, что указывает на то, что требуется большое количество безотказных тестов, чтобы иметь хотя бы умеренную уверенность в умеренном пределе частоты отказов.[4]

Обзор

Рассмотрим следующую функцию C ++:

int myAbs(int Икс) {    если (Икс > 0) {         возвращаться Икс;    }    еще {        возвращаться Икс; // ошибка: должно быть '-x'    }}

Теперь случайные тесты для этой функции могут быть {123, 36, -35, 48, 0}. Только значение «-35» вызывает ошибку. Если нет эталонной реализации для проверки результата, ошибка все равно может остаться незамеченной. Однако утверждение можно добавить для проверки результатов, например:

пустота testAbs(int п) {    за (int я=0; я<п; я++) {        int Икс = getRandomInput();        int результат = myAbs(Икс);        утверждать(результат >= 0);    }}

Иногда доступна эталонная реализация, например при реализации простого алгоритма гораздо более сложным способом для повышения производительности. Например, чтобы протестировать реализацию Алгоритм Шёнхаге – Штрассена можно использовать стандартную операцию "*" с целыми числами:

int getRandomInput() {    // …}пустота testFastMultiplication(int п) {    за (int я=0; я<п; я++) {        длинный Икс = getRandomInput();        длинный у = getRandomInput();        длинный результат = быстрое умножение(Икс, у);        утверждать(Икс * у == результат);    }}

Хотя этот пример ограничен простыми типами (для которых может использоваться простой генератор случайных чисел), инструменты, ориентированные на объектно-ориентированные языки, обычно исследуют программу, чтобы проверить и найти генераторы (конструкторы или методы, возвращающие объекты этого типа) и вызывают их, используя случайные входные данные (либо сами генерируются таким же образом, либо сгенерированы с использованием псевдослучайного генератора, если это возможно). Такие подходы затем поддерживают пул случайно сгенерированных объектов и используют вероятность либо для повторного использования сгенерированного объекта, либо для создания нового.[5]

О случайности

Согласно основополагающей статье Д. Гамлета о случайном тестировании

[..] Техническое, математическое значение термина «случайное тестирование» относится к явному отсутствию «системы» в выборе тестовых данных, так что между разными тестами нет корреляции.[1]

Сильные и слабые стороны

Случайное тестирование хвалят за следующие сильные стороны:

  • Это дешево в использовании: не нужно разбираться в тестируемой программе.
  • В нем нет предвзятости: в отличие от ручного тестирования, он не пропускает ошибок из-за неуместного доверия к некоторому коду.
  • Кандидатов на ошибку найти быстро: обычно на выполнение сеанса тестирования уходит пара минут.
  • Если программное обеспечение указано правильно: оно обнаруживает настоящие ошибки.

Были описаны следующие недостатки:

  • Он находит только базовые ошибки (например, нулевой указатель разыменование).
  • Это настолько точно, насколько обычно неточны спецификации и спецификации.
  • Он плохо сравнивается с другими методами поиска ошибок (например, статический анализ программы ).
  • Если разные входные данные выбираются случайным образом при каждом тестовом запуске, это может создать проблемы для непрерывная интеграция потому что одни и те же тесты пройдут или не пройдут случайным образом.[6]
  • Некоторые утверждают, что было бы лучше вдумчиво охватить все соответствующие случаи вручную построенными тестами в стиле белого ящика, чем полагаться на случайность.[6]
  • Может потребоваться очень большое количество тестов для умеренного уровня уверенности в умеренной частоте отказов. Например, потребуется 459 безотказных тестов, чтобы иметь как минимум 99% уверенность в том, что вероятность отказа меньше 1/100.[4]

Типы случайного тестирования

Что касается ввода

  • Генерация случайной входной последовательности (т. Е. Последовательность вызовов методов)
  • Случайная последовательность ввода данных (иногда называемая стохастическим тестированием) - например, случайная последовательность вызовов методов
  • Случайный выбор данных из существующей базы данных

Управляемый против неуправляемого

  • генерация неориентированных случайных тестов - без эвристики для поиска
  • направленная генерация случайных тестов - например, "генерация случайных тестов с обратной связью"[7] или «адаптивное случайное тестирование» [8]

Реализации

Некоторые инструменты, реализующие случайное тестирование:

  • Быстрая проверка - известный тестовый инструмент, изначально разработанный для Haskell но перенесен на многие другие языки, генерирует случайные последовательности вызовов API на основе модели и проверяет свойства системы, которые должны оставаться верными после каждого запуска.
  • Randoop - генерирует последовательности методов и вызовов конструкторов для тестируемых классов и создает JUnit тесты из этих
  • Симулятор - а Clojure инструмент, который запускает моделирование различных агентов (например, пользователей с разными поведенческими профилями) на основе статистической модели их поведения, записывая все действия и результаты в базу данных для последующего исследования и проверки
  • AutoTest - инструмент, интегрированный в EiffelStudio, автоматически тестирующий код Eiffel с контрактами на основе одноименного исследовательского прототипа.[5]·
  • York Extensible Testing Infrastructure (YETI) - независимый от языка инструмент, ориентированный на различные языки программирования (Java, JML, CoFoJa, .NET, C, Kermeta).
  • GramTest - инструмент случайного тестирования на основе грамматики, написанный на Java, он использует нотацию BNF для определения входных грамматик.

Критика

Случайное тестирование имеет на практике только специализированную нишу, в основном потому, что эффективный оракул редко доступен, но также из-за трудностей с рабочим профилем и с генерацией псевдослучайных входных значений.[1]

А тестовый оракул это инструмент для проверки, соответствуют ли результаты спецификации программы или нет. Профиль работы - это знания о шаблонах использования программы и, следовательно, о том, какие части более важны.

Для языков программирования и платформ, которые имеют контракты (например, Eiffel .NET или различные расширения Java, такие как JML, CoFoJa ...), контракты действуют как естественные оракулы, и этот подход был успешно применен.[5] В частности, случайное тестирование обнаруживает больше ошибок, чем ручные проверки или пользовательские отчеты (хотя и разные).[9]

Смотрите также

Рекомендации

  1. ^ а б c Ричард Гамлет (1994). «Случайное тестирование». В John J. Marciniak (ред.). Энциклопедия программной инженерии (1-е изд.). Джон Уайли и сыновья. ISBN  978-0471540021.
  2. ^ Agrawal, P .; Агравал, В. Д. (1 июля 1975 г.). «Вероятностный анализ метода генерации случайных тестов для неизбыточных комбинационных логических сетей». Транзакции IEEE на компьютерах. С-24 (7): 691–695. Дои:10.1109 / T-C.1975.224289.
  3. ^ Duran, J. W .; Нтафос, С. К. (1 июля 1984 г.). «Оценка случайного тестирования». IEEE Transactions по разработке программного обеспечения. SE-10 (4): 438–444. Дои:10.1109 / TSE.1984.5010257.
  4. ^ а б Хауден, Уильям (1987). Функциональное тестирование и анализ программ. Нью-Йорк: Макгроу Хилл. С. 51–53. ISBN  0-07-030550-1.
  5. ^ а б c «Автотест - Кафедра программной инженерии». se.inf.ethz.ch. Получено 15 ноября 2017.
  6. ^ а б «Является ли случайное создание тестовых данных плохой практикой?». stackoverflow.com. Получено 15 ноября 2017.
  7. ^ Пачеко, Карлос; Шувенду К. Лахири; Майкл Д. Эрнст; Томас Болл (май 2007 г.). «Генерация случайных тестов с обратной связью» (PDF). ICSE '07: Материалы 29-й Международной конференции по программной инженерии: 75–84. ISSN  0270-5257.
  8. ^ Chen, T.Y .; Х. Люнг; И.К. Мак (2005). «Адаптивное случайное тестирование» (PDF). Достижения в области компьютерных наук - ASIAN 2004. Принятие решений на высшем уровне: 320–329.
  9. ^ Илинка Чупа; Александр Пречнер; Мануэль Ориоль; Андреас Лейтнер; Бертран Мейер (2009). «О количестве и характере неисправностей, обнаруженных методом выборочной проверки». Тестирование, проверка и надежность программного обеспечения. 21: 3–28. Дои:10.1002 / stvr.415.

[1]

внешняя ссылка

  1. ^ Ошибка цитирования: указанная ссылка :0 был вызван, но не определен (см. страница помощи).