Стресс-тестирование (программное обеспечение) - Stress testing (software)

Стресс-тестирование это тестирование программного обеспечения деятельность, определяющая надежность программного обеспечения путем тестирования за пределами нормальной работы. Стресс-тестирование особенно важно для "критически важный ", но используется для всех типов программного обеспечения. Стресс-тесты обычно делают больший упор на надежность, доступность, и обработка ошибок при большой нагрузке, чем при нормальных обстоятельствах.

Полевой опыт

Неисправности могут быть связаны с:

  • характеристики непроизводственной среды, например небольшие тестовые базы данных
  • полное отсутствие нагрузка или стресс-тестирование

Обоснование

Причины стресс-тестирования включают:

  • Тестируемое программное обеспечение является «критически важным», то есть отказ программного обеспечения (например, крушение ) будет иметь катастрофические последствия.
  • При традиционных методах тестирования количество времени и ресурсов, выделяемых на тестирование, обычно не достаточно для тестирования всех ситуаций, в которых программное обеспечение будет использоваться при его выпуске.
  • Даже при наличии достаточного количества времени и ресурсов для написания тестов может оказаться невозможным заранее определить все возможные способы использования программного обеспечения. Это особенно верно для операционные системы и промежуточное ПО, который в конечном итоге будет использоваться программным обеспечением, которого даже не существует на момент тестирования.
  • Клиенты могут использовать программное обеспечение на компьютерах со значительно меньшими вычислительными ресурсами (такими как объем памяти или же дисковое пространство ), чем компьютеры, использованные для тестирования.
  • Целостность входных данных не может быть гарантирована. Входные данные относятся к программному обеспечению: это могут быть файлы данных, потоки и буферы памяти, а также аргументы и параметры, передаваемые исполняемому файлу командной строки, или вводимые пользователем данные, запускающие действия в приложении с графическим интерфейсом пользователя. Расплывание и обезьяна тест методы могут использоваться для поиска проблем, связанных с повреждением или несогласованностью данных.
  • Параллелизм особенно сложно проверить традиционными методами тестирования. Стресс-тестирование может потребоваться, чтобы найти условия гонки и тупиковые ситуации.
  • Программное обеспечение, такое как веб-серверы который будет доступен через Интернет может быть предметом отказ в обслуживании атаки.
  • В нормальных условиях некоторые виды ошибки, Такие как утечки памяти, могут быть довольно безобидными, и их трудно обнаружить за короткие периоды времени, в течение которых проводится тестирование. Однако эти ошибки могут быть потенциально серьезными. В некотором смысле стресс-тестирование в течение относительно короткого периода времени можно рассматривать как моделирование нормальной работы в течение более длительного периода времени.

Связь с покрытием филиала

Ответвляться покрытие (конкретный тип покрытие кода ) - это показатель количества ветвей, выполненных при тестировании, где «100% охват ветвлений» означает, что каждая ветвь в программе была выполнена хотя бы один раз в рамках некоторого теста. Покрытие филиалов - один из самых важных показателей для тестирования программного обеспечения; программное обеспечение с низким охватом ветвей обычно не считается тщательно протестированным. Обратите внимание, что[редактирование ] Метрики покрытия кода - это свойство тестов для части программного обеспечения, а не для тестируемого программного обеспечения.

Достижение высокого охвата веток часто требует написания отрицательный варианты тестирования, то есть варианты, в которых предполагается, что программное обеспечение каким-либо образом не сработает, в дополнение к обычным положительный тестовые варианты, которые проверяют предполагаемое использование. Примером отрицательного варианта может быть вызов функция с недопустимыми параметрами. Однако существует предел охвата ветвей, который может быть достигнут даже при отрицательных вариациях, поскольку некоторые ветви могут использоваться только для обработки ошибок, которые выходят за рамки контроля теста. Например, тест обычно не контролирует выделение памяти, поэтому ветки, которые обрабатывают ошибку «нехватки памяти», трудно тестировать.

Стресс-тестирование может обеспечить более высокий охват ветвей, создав условия, при которых выполняются определенные ветки обработки ошибок. Покрытие можно дополнительно улучшить, используя введение неисправности.

Примеры

Нагрузочный тест против стресс-теста

Стресс-тестирование обычно состоит из тестирования, выходящего за установленные пределы, для определения точек отказа и восстановления после отказа.[1][2]


Нагрузочное тестирование подразумевает переход контролируемой среды от низких нагрузок к высоким. Стресс-тестирование фокусируется на более случайных событиях, хаосе и непредсказуемости. Используя веб-приложение в качестве примера, вот способы, которыми может быть вызван стресс:[1]

  • удвоить базовое число для одновременных пользователей / HTTP-соединений
  • произвольно отключать и перезапускать порты на сетевых коммутаторах / маршрутизаторах, которые подключают серверы (например, с помощью команд SNMP)
  • отключите базу данных, затем перезапустите ее
  • перестроить RAID-массив во время работы системы
  • запускать процессы, потребляющие ресурсы (ЦП, память, диск, сеть) на веб-серверах и серверах баз данных
  • наблюдать, как система реагирует на сбой и восстанавливается
    • Сохраняет ли он свое состояние?
    • Приложение зависает и зависает или нормально перестает работать?
    • Может ли он восстановиться после перезапуска из последнего исправного состояния?
    • Выводит ли система значимые сообщения об ошибках для пользователя и в журналы?
    • Нарушена ли безопасность системы из-за неожиданных сбоев?

Смотрите также

Рекомендации

  1. ^ а б Георгиу, Григ. «Производительность, нагрузка и стресс-тестирование». Гибкое тестирование. Получено 25 февраля 2013.
  2. ^ Чан, Г. Энтони (2004). «Ускоренное стресс-тестирование аппаратного и программного обеспечения» (PDF). Ежегодный симпозиум "Надежность и ремонтопригодность", 2004 г. - РАМН. Лос-Анджелес, Калифорния: IEEE. С. 346–351. Дои:10.1109 / RAMS.2004.1324530. ISBN  0-7803-8215-3. Получено 2020-10-19.