Métodos informales de validación y verificación

Los métodos informales de validación y verificación son algunos de los más utilizados en modelado y simulación. Se denominan informales porque son más cualitativos que cuantitativos. ^{[ 1 ]} Si bien muchos métodos de validación o verificación se basan en resultados numéricos, los métodos informales tienden a basarse en las opiniones de expertos para llegar a una conclusión. Aunque los resultados numéricos no son el foco principal, esto no significa que se ignoren por completo. Existen varias razones por las que se podría elegir un método informal. En algunos casos, los métodos informales ofrecen la conveniencia de realizar pruebas rápidas para comprobar si un modelo puede validarse. En otros casos, los métodos informales son simplemente la mejor opción disponible. Los métodos informales no son menos efectivos que los métodos formales y deben realizarse con la misma disciplina y estructura que se esperaría en los métodos "formales". Cuando se ejecutan correctamente, se pueden obtener conclusiones sólidas. ^{[ 2 ]}

En modelado y simulación, las técnicas de verificación se utilizan para analizar el estado del modelo. La verificación se realiza mediante diferentes métodos, centrándose en comparar distintos aspectos del modelo ejecutable con el modelo conceptual. Por otro lado, los métodos de validación consisten en comparar un modelo, ya sea conceptual o ejecutable, con la situación que intenta modelar. Ambos métodos permiten analizar el modelo para detectar defectos en los métodos de modelado empleados o posibles representaciones erróneas de la situación real.

La inspección es un método de verificación que se utiliza para comparar la precisión con la que el modelo conceptual coincide con el modelo ejecutable. Equipos de expertos, desarrolladores y evaluadores examinarán minuciosamente el contenido (algoritmos, código de programación, documentos, ecuaciones) del modelo conceptual original y lo compararán con su contraparte correspondiente para verificar la similitud del modelo ejecutable. ^{[ 1 ]} Uno de los principales objetivos de este método de verificación es detectar qué objetivos originales se han pasado por alto. Al realizar una inspección del modelo, el equipo no solo puede identificar posibles problemas que podrían haberse omitido, sino también detectar fallos potenciales que podrían convertirse en un problema más adelante en el proyecto. ^{[ 3 ]}

Dependiendo de los recursos disponibles, los miembros del equipo de inspección pueden o no formar parte del equipo de producción del modelo. Preferiblemente, serían grupos separados, pero cuando los miembros pertenecen al mismo grupo, algunos aspectos pueden pasarse por alto, ya que ya han dedicado tiempo a analizar el proyecto desde una perspectiva de producción. Las inspecciones también son más flexibles, pues pueden ser ad hoc o altamente estructuradas, con miembros del equipo de inspección que desempeñan roles específicos, como moderador, lector y registrador, y con pasos de procedimiento específicos. El objetivo de los inspectores es encontrar y documentar fallos entre el modelo conceptual y el modelo ejecutable. ^{[ 1 ] [ 4 ]}

Una de las ventajas de la validación facial es que puede utilizarse eficazmente durante una simulación virtual en tiempo real, donde la interacción entre el usuario y la simulación es prioritaria. Es eficaz en este tipo de simulaciones porque estos modelos requieren la entrada o interacción del usuario. La mejor manera de validar que el modelo cumple los criterios es que usuarios que hayan experimentado la situación del modelo en la vida real confirmen que el modelo representa con precisión la situación con la que están familiarizados. Los usuarios familiarizados con la situación detectarán las correcciones necesarias que el desarrollador podría pasar por alto. Este tipo de validación es eficaz y muy apropiada para simulaciones virtuales, y también se utiliza para validar modelos cuando el plazo de prueba es corto o cuando resulta difícil obtener resultados cuantitativos analizables. Si bien los resultados cuantitativos son preferibles, un informe sólido de validación por parte de profesionales también es aceptable. ^{[ 1 ]}

Una auditoría se utiliza para determinar qué tan bien un modelo se ajusta a las directrices establecidas. Si existe un registro de auditoría , cualquier error en el modelo debería poder rastrearse hasta su origen para encontrar y corregir fácilmente. Una auditoría se lleva a cabo mediante reuniones y el seguimiento del registro de auditoría para verificar si hay problemas. ^{[ 5 ]}

Una revisión es una reunión programada con el autor responsable del modelo o los documentos que se revisarán. Además de los autores, suele haber un grupo de personal técnico sénior y posiblemente personal de negocios que ayudan a analizar el modelo. Normalmente, también hay un facilitador encargado de dirigir la reunión. Antes de la reunión oficial, el autor revisará el documento o modelo para detectar posibles errores de formato. Tras esta revisión, se entrega a los asistentes para que lo revisen minuciosamente en busca de inconsistencias antes de la reunión. Los asistentes recopilarán preguntas o inquietudes basándose en su experiencia en el campo y en su conocimiento del sistema. En la reunión, el autor presentará el documento a los asistentes y explicará los métodos y los hallazgos. El facilitador es responsable de presentar las preguntas de los asistentes en este momento. Además de dirigir la estructura de la reunión, el facilitador toma nota de los problemas restantes para su posterior análisis. ^{[ 3 ] [ 4 ]}

Una revisión es similar a una inspección o recorrido, con la diferencia de que el equipo de revisión también incluye a la gerencia. Una revisión ofrece una visión general de todo el proceso del modelo, incluyendo el cumplimiento de las directrices y especificaciones, con el objetivo de asegurar a la gerencia que el desarrollo de la simulación abarca todos los objetivos conceptuales. Dado que su enfoque va más allá de una simple revisión técnica, se considera un método de alto nivel. Al igual que en el proceso de recorrido, la revisión requiere la presentación de la documentación correspondiente antes de la reunión.

Los puntos clave se destacan a través del Agente de Verificación y Validación. Los problemas potenciales y las recomendaciones se registran durante la reunión como resultado de la revisión. Con base en estos resultados, se toman medidas para abordar los puntos señalados, se corrigen las deficiencias y se toman en consideración las recomendaciones. ^{[ 4 ] [ 6 ]}

La revisión documental consiste en que el autor revise cuidadosamente el modelo para detectar cualquier inconsistencia. Es la única técnica en la que la responsabilidad principal de la verificación recae en el autor del modelo. El autor lee detenidamente todos los documentos, notas y objetivos originales, y se asegura de que el producto final modele de forma precisa y completa todo lo que se propuso hacer. Este es también el momento en que se deben detectar y corregir las deficiencias. Si bien la responsabilidad recae en el autor, esto no significa que se excluya la ayuda de otros. La revisión documental es el método informal menos formal de los analizados, pero suele ser una buena primera línea de defensa para detectar errores e intentar verificar y validar el modelo. ^{[ 3 ] [ 7 ]}

La prueba de Turing es un método de validación informal desarrollado por el matemático inglés Alan Turing en la década de 1950. En esencia, se trata de una forma especializada de validación facial, ya que los humanos pueden considerarse "expertos" en el análisis de cómo reaccionarán otros humanos ante una situación determinada. Específicamente, este modelo es ideal para modelar situaciones que buscan simular el comportamiento humano. En lugar de recurrir a cálculos computacionales complejos para tener en cuenta los factores que influyen en la toma de decisiones humanas y la alta variabilidad entre diferentes personas, este método de validación se centra en cómo el modelo se presenta a otros humanos que desconocen la fuente de los datos de salida: otros humanos o el modelo. La prueba de Turing se basa en comparar si la salida, con una probabilidad superior al azar, coincide con la salida esperada para el comportamiento humano en la situación modelada. ^{[ 1 ]}

"Cuando se aplica a la validación de modelos de comportamiento humano, se dice que el modelo supera la prueba de Turing y, por lo tanto, es válido si los observadores expertos no pueden distinguir de manera fiable entre el comportamiento generado por el modelo y el generado por humanos. Dado que la característica del comportamiento generado por el sistema que se evalúa es el grado en que es indistinguible del comportamiento generado por humanos, esta prueba es claramente relevante para la evaluación del realismo del comportamiento generado algorítmicamente, quizás incluso más que para la inteligencia tal como la propuso originalmente Turing." ^{[ 1 ]}