Генеральный план тестирования и оценки - Test and evaluation master plan

Генеральный план тестирования и оценки (ТЕМП.) является важным аспектом управление проектом вовлекающие сложные системы, которые должны удовлетворять требованиям спецификации. TEMP используется для поддержки программных событий, называемых контрольными решениями, которые разделяют отдельные фазы проекта. Для военных систем уровень финансирования определяет категорию приобретения и организацию, ответственную за решение вехи.^[1]^[2]

А матрица прослеживаемости обычно используется для связывания элементов в TEMP с элементами в технические характеристики.

Определение

Генеральный план тестирования и оценки документирует общую структуру и цели тестирования и оценки программы.^[3] Он охватывает действия в течение жизненного цикла программы и определяет критерии оценки для тестировщиков.^[4]

Генеральный план тестирования и оценки состоит из отдельных тестов. Каждый тест содержит следующее.

Сценарий тестирования
Сбор информации
Оценка эффективности

Тестовый сценарий

В тестовый сценарий устанавливает условия испытаний. Обычно это связано с конкретным профилем миссии. Для военных систем это будет боевой сценарий, который может включать в себя испытание и оценку в реальном времени (LFT & E). Для коммерческих систем это может включать особую ситуацию, связанную с использованием разрабатываемого объекта.

Например, работа в холодную погоду может потребовать оценки работы при температурах ниже ${ displaystyle -40 ^ {o}}$ C с использованием климатической камеры. Для оценки работы с автомобильным интерфейсом может потребоваться оценка совместимости с вибрационный тест. Оценка интернет-магазина потребует, чтобы система провела пользователя через покупку продукта, в то время как система загружена другим трафиком.

Сценарий тестирования определяет следующее.

Предметы, необходимые для тестирования
Инструкции по настройке элементов, которые будут использоваться во время теста
Общее описание работы с тестируемой системой
Конкретные действия и события, которые будут происходить во время теста

Сбор информации

Сбор информации определяет информацию, которая должна быть собрана во время теста. Это включает предварительную настройку перед началом теста. Это может включать подготовку к любому из следующих действий.

Настройки тестируемой системы
Отдельная аппаратура
Письменные заметки от прямого наблюдения
Сбор образцов

Системы, в состав которых входит компьютер, обычно требуют возможности извлекать и записывать определенные виды данных из системы, пока она работает нормально.

Сбор электронных данных может быть запущен и остановлен как одно из действий, описанных в сценарии тестирования.

Когда доступ к данным ограничен, поэтому для передачи данных между организациями может потребоваться План сбора данных. Это может произойти с секретные военные системы.

Данные анализируются после завершения тестирования. Этот анализ называется оценкой производительности.

Оценка эффективности

Меры эффективности - это конкретные метрики, которые используются для измерения результатов в общей миссии и выполнении поставленных задач.

Они могут иметь гибкие пределы производительности, связанные с результатом конкретного события. Например, первый выстрел, выпущенный из пушки, нацеленной с помощью радара, не повлияет на конкретное место, но положение может быть измерено с помощью радара, поэтому система должна иметь возможность доставить снаряд в определенном радиусе после нескольких выстрелов. уволенный. Количество выстрелов, необходимых для попадания одного в лимит, - это МО. Радиус будет мерой производительности (MOP).

Показатели эффективности - это особые метрики, которые должны быть удовлетворены пределом прохождения или неудачи. Обычно они обозначаются словами должен или же должен в спецификации.

Один из типов MOP - это расстояние, которое транспортное средство с определенной нагрузкой должно пройти с определенной скоростью, прежде чем закончится топливо.

Другой тип MOP - это расстояние, на котором радар может обнаружить отражатель в 1 квадратный метр.

Меры пригодности оценить возможность поддержки в предполагаемой операционной среде.

В качестве примера это может быть оценка среднего времени наработки на отказ (MTBF), которая оценивается во время другого тестирования. Система с чрезмерным количеством отказов может удовлетворять всем другим требованиям и быть непригодной для использования. Пистолет, который заклинивает при загрязнении, не подходит для использования в военных целях.

Эти требования связаны с умениями.

Надежность
Доступность
Ремонтопригодность
Возможность поддержки
Удобство использования

Цель

Результаты оценки TEMP используются для нескольких целей.

Отказ: решение о прекращении финансирования
Редизайн: решение о финансировании модификации и повторного тестирования
Производство в полном объеме: решение о приемке финансирования
Планирование миссии

Планирование миссии включает перевод MOE, MOP и MOS в следующее.

Требуемые эксплуатационные возможности (ROC)
Прогнозируемая операционная среда (POE)
Диагностическое тестирование через встроенный тест (BIT) или плановое обслуживание

ROC и POE - это особые ожидания, оцениваемые TEMP, которые используются для определения того, как развертывать активы для удовлетворения конкретных требований миссии. Диагностическое тестирование гарантирует, что эти ожидания оправдаются на протяжении всей миссии.

Другое использование

Термин «генеральный план тестирования и оценки» как отдельное общее руководство по функциям тестирования и оценки при разработке также использовался Министерством обороны Австралии.^[5] Другие используют этот термин или аналогичные термины, такие как «Мастер-тест и план оценки».

Смотрите также

Руководство по приобретению обороны (DAG), раздел 9 Тестирование и оценка

внешняя ссылка

[1] «Включение тестирования и оценки в контракты DoD на приобретение» (PDF). Университет оборонных закупок.

[2] «Процедуры и руководящие принципы Генерального плана тестирования и оценки» (PDF). Университет Айдахо, Айдахо-Фолс.

[3] «Генеральный план тестирования и оценки (TEMP)». Получено 6 апреля 2016.

[4] «Тестирование и оценка, Генеральный план тестирования и оценки». Получено 6 апреля 2016.

[5] «Испытания и оценка закупленного крупного оборонного оборудования» (PDF). Национальное аудиторское управление Австралии. 24 января 2002 г. ISBN 0642-80612-8. Получено 6 апреля 2016.

[1]

[2]

[3]

[4]

[5]