Генеральный план испытаний и оценки ( TEMP ) является критически важным аспектом управления проектами , включающими сложные системы, которые должны удовлетворять требованиям спецификации. TEMP используется для поддержки программных мероприятий, называемых решениями о вехах, которые разделяют отдельные фазы проекта. Для военных систем уровень финансирования определяет категорию приобретения и организацию, ответственную за решение о вехах. [1] [2]
Матрица прослеживаемости обычно используется для связи элементов в пределах TEMP с элементами в пределах спецификаций .
Генеральный план тестирования и оценки документирует общую структуру и цели тестирования и оценки программы. [3] Он охватывает деятельность на протяжении жизненного цикла программы и определяет критерии оценки для тестировщиков. [4]
Мастер-план тестирования и оценки состоит из отдельных тестов. Каждый тест содержит следующее.
Тестовый сценарий устанавливает условия тестирования. Обычно это связано с определенным профилем миссии. Для военных систем это будет боевой сценарий, и он может включать в себя Live Fire Test and Evaluation (LFT&E). Для коммерческих систем это будет включать в себя определенный тип ситуации, включающий использование разрабатываемого элемента.
Например, для работы в холодную погоду может потребоваться оценка работы при температурах ниже C с использованием климатической камеры. Для оценки работы с интерфейсом транспортного средства может потребоваться оценка совместимости с вибрационным испытанием . Для оценки интернет-магазина потребуется, чтобы система провела пользователя через процесс покупки продукта, пока система загружена другим трафиком.
Тестовый сценарий определяет следующее.
Сбор данных определяет информацию, которая должна быть собрана во время теста. Это включает предварительную настройку перед началом теста. Это может включать подготовку к любому из следующих действий.
Системы, в состав которых входит компьютер, обычно требуют возможности извлекать и записывать определенные виды данных из системы во время ее нормальной работы.
Электронный сбор данных может быть начат и остановлен как одно из действий, описанных в тестовом сценарии.
Когда доступ к данным ограничен, поэтому передача данных между организациями может потребовать Плана сбора данных . Это может произойти с секретными военными системами .
Данные анализируются после завершения тестирования. Этот анализ называется оценкой производительности.
Показатели эффективности — это конкретные показатели, которые используются для измерения результатов общей миссии и выполнения поставленных задач.
Они могут иметь гибкие пределы производительности, связанные с результатом конкретного события. Например, первый выстрел из пушки, нацеленной с помощью радара, не повлияет на определенное место, но положение может быть измерено с помощью радара, поэтому система должна быть способна доставить снаряд в пределах определенного радиуса после того, как было выпущено несколько снарядов. Количество снарядов, необходимое для попадания одного в пределы ограничения, является MOE. Радиус будет показателем производительности (MOP).
Меры производительности — это конкретные метрики, которые имеют предел прохождения или провала, который должен быть удовлетворен. Они обычно определяются словами «должен» или «обязан» в спецификации.
Одним из видов MOP является расстояние, которое транспортное средство с определенной загрузкой должно проехать с определенной скоростью, прежде чем закончится топливо.
Другой тип MOP — это расстояние, на котором радар может обнаружить отражатель площадью 1 квадратный метр.
Меры пригодности оценивают способность поддерживаться в предполагаемой рабочей среде.
Например, это может быть оценка среднего времени между отказами (MTBF), которая оценивается во время других испытаний. Система с чрезмерными отказами может удовлетворять всем остальным требованиям и не быть пригодной для использования. Оружие, которое заклинивает, когда оно грязное, не подходит для военного использования.
Эти требования связаны с полномочиями.
Результаты оценки TEMP используются для различных целей.
Планирование миссии включает в себя перевод MOE, MOP и MOS в следующий формат.
ROC и POE — это конкретные ожидания, оцениваемые TEMP, которые используются для определения того, как развернуть активы для удовлетворения конкретных требований миссии. Диагностическое тестирование гарантирует, что эти ожидания будут удовлетворены на протяжении всей миссии.
Термин «генеральный план испытаний и оценки» как отдельное общее руководство по функциям испытаний и оценки в разработке также использовался Министерством обороны Австралии. [5] Другие используют этот термин или похожие термины, такие как «генеральный план испытаний и оценки».
