Plan maestro de pruebas y evaluación

El escenario de prueba establece las condiciones de la prueba. Generalmente, esto se asocia con un perfil de misión específico. Para sistemas militares, se trataría de un escenario de combate, que podría incluir pruebas y evaluación con fuego real (LFT&E). Para sistemas comerciales, implicaría una situación específica relacionada con el uso del producto en desarrollo.

Por ejemplo, el funcionamiento en clima frío puede requerir que el funcionamiento se evalúe a temperaturas inferiores a${\displaystyle -40^{o}}$C. utilizando una cámara ambiental . La evaluación del funcionamiento con una interfaz vehicular puede requerir una evaluación de compatibilidad con una prueba de vibración . La evaluación de una tienda en línea requeriría que el sistema guíe al usuario a través de una compra de producto mientras el sistema está cargado con otro tráfico.

El escenario de prueba identifica lo siguiente.

• Elementos necesarios para la prueba
• Instrucciones para preparar los elementos que se utilizarán durante la prueba.
• Descripción general sobre cómo operar el sistema bajo prueba.
• Acciones y eventos específicos que tendrán lugar durante la prueba

La recopilación de datos identifica la información que debe recogerse durante la prueba. Esto implica una configuración preliminar antes de que comience la prueba. Esto puede implicar la preparación para cualquiera de los siguientes aspectos.

• Configuración del sistema bajo prueba
• Instrumentación independiente
• Notas escritas a partir de la observación directa
• Recolección de muestras

Los sistemas que incorporan un ordenador suelen requerir la capacidad de extraer y registrar tipos específicos de datos del sistema mientras este funciona con normalidad.

La recopilación electrónica de datos puede iniciarse y detenerse como una de las acciones descritas en el escenario de prueba.

Cuando el acceso a los datos está restringido, la transferencia de datos entre organizaciones puede requerir un Plan de Recopilación de Datos . Esto puede ocurrir con sistemas militares clasificados .

Los datos se analizan una vez finalizadas las pruebas. Este análisis se denomina evaluación del rendimiento.

Las medidas de eficacia son indicadores específicos que se utilizan para medir los resultados en la misión general y la ejecución de las tareas asignadas.

Estos sistemas pueden tener límites de rendimiento flexibles asociados al resultado de un evento específico. Por ejemplo, el primer disparo de un arma apuntada con radar no impactaría en una ubicación específica, pero la posición se puede medir con el radar, por lo que el sistema debería ser capaz de alcanzar un objetivo dentro de un radio determinado tras varios disparos. El número de disparos necesarios para alcanzar un objetivo dentro del límite se denomina MOE (Medida de Eficiencia). El radio sería una Medida de Rendimiento (MOP).

Las medidas de rendimiento son métricas específicas que tienen un límite de aprobación o reprobación que debe cumplirse. Generalmente se identifican con las palabras " deberá" o "debe" en la especificación.

Un tipo de MOP (límite de operación de combustible) es la distancia que un vehículo con una carga específica debe recorrer a una velocidad determinada antes de quedarse sin combustible.

Otro tipo de MOP es la distancia a la que un radar puede detectar un reflector de 1 metro cuadrado.

Las medidas de idoneidad evalúan la capacidad de ser compatible con el entorno operativo previsto.

Por ejemplo, esto podría ser una evaluación del tiempo medio entre fallos (MTBF), que se evalúa durante otras pruebas. Un sistema con fallos excesivos puede cumplir con todos los demás requisitos y no ser apto para su uso. Un arma que se atasca al ensuciarse no es apta para uso militar.

Estos requisitos están asociados con las ilidades.

• Fiabilidad
• Disponibilidad
• Mantenibilidad
• Soporte
• Usabilidad