Verificación y validación de modelos de simulación por ordenador.

Las suposiciones sobre cómo funciona el sistema y cómo está organizado físicamente son suposiciones estructurales. Por ejemplo, el número de servidores en un autoservicio de comida rápida y, si hay más de uno, ¿cómo se utilizan? ¿Los servidores trabajan en paralelo, de modo que un cliente completa una transacción visitando un solo servidor, o un servidor toma los pedidos y gestiona el pago mientras el otro prepara y sirve el pedido? Muchos problemas estructurales en el modelo provienen de suposiciones deficientes o incorrectas. ^{[ 4 ]} Si es posible, se debe observar detenidamente el funcionamiento del sistema real para comprender cómo opera. ^{[ 4 ]} La estructura y el funcionamiento del sistema también deben verificarse con los usuarios del sistema real. ^{[ 1 ]}

Debe haber una cantidad suficiente de datos apropiados disponibles para construir un modelo conceptual y validar un modelo. La falta de datos apropiados suele ser la razón por la que fracasan los intentos de validar un modelo. ^{[ 3 ]} Los datos deben verificarse para que provengan de una fuente confiable. Un error típico es asumir una distribución estadística inapropiada para los datos. ^{[ 1 ]} El modelo estadístico asumido debe probarse utilizando pruebas de bondad de ajuste y otras técnicas. ^{[ 1 ] [ 3 ]} Ejemplos de pruebas de bondad de ajuste son la prueba de Kolmogorov-Smirnov y la prueba de chi-cuadrado . Cualquier valor atípico en los datos debe verificarse. ^{[ 3 ]}

Son suposiciones que sabemos que no son ciertas, pero que son necesarias para simplificar el problema que queremos resolver. ^{[ 6 ]} El uso de estas suposiciones debe restringirse para asegurar que el modelo sea lo suficientemente correcto como para servir como respuesta al problema que queremos resolver.

Las pruebas de hipótesis estadísticas mediante la prueba t pueden utilizarse como base para aceptar el modelo como válido o rechazarlo como inválido.

La hipótesis que se va a comprobar es

H ₀ la medida de rendimiento del modelo = la medida de rendimiento del sistema

versus

H ₁ la medida de rendimiento del modelo ≠ la medida de rendimiento del sistema.

La prueba se realiza para un tamaño de muestra y un nivel de significancia o α determinados. Para realizar la prueba, se llevan a cabo n ejecuciones estadísticamente independientes del modelo y se obtiene un valor promedio o esperado, E(Y), para la variable de interés. Luego, se calcula el estadístico de prueba , t _{0 para el α,} n , E(Y) dados y el valor observado para el sistema μ ⁰

${\displaystyle t_{0}={(E(Y)-u_{0})}/{(S/{\sqrt {n}})}}$y el valor crítico para α y n-1 los grados de libertad

${\displaystyle t_{a/2,n-1}}$se calcula.

Si

${\displaystyle \left\vert t_{0}\right\vert >t_{a/2,n-1}}$

Rechazar H ₀ , el modelo necesita ajuste.

Hay dos tipos de error que pueden ocurrir al usar pruebas de hipótesis: rechazar un modelo válido llamado error de tipo I o "riesgo del constructor del modelo" y aceptar un modelo inválido llamado error de tipo II, β, o "riesgo del usuario del modelo". ^{[ 3 ]} El nivel de significancia o α es igual a la probabilidad de error de tipo I. ^{[ 3 ]} Si α es pequeño, rechazar la hipótesis nula es una conclusión fuerte. ^{[ 1 ]} Por ejemplo, si α = 0.05 y se rechaza la hipótesis nula, hay solo una probabilidad de 0.05 de rechazar un modelo que es válido. Disminuir la probabilidad de un error de tipo II es muy importante. ^{[ 1 ] [ 3 ]} La probabilidad de detectar correctamente un modelo inválido es 1 - β. La probabilidad de un error de tipo II depende del tamaño de la muestra y de la diferencia real entre el valor de la muestra y el valor observado. Aumentar el tamaño de la muestra disminuye el riesgo de un error de tipo II.

Los intervalos de confianza se pueden utilizar para evaluar si un modelo es "suficientemente cercano" ^{[ 1 ]} a un sistema para alguna variable de interés. Se comprueba la diferencia entre el valor conocido del modelo, μ₀ _, y el valor del sistema, μ, para ver si es menor que un valor suficientemente pequeño como para que el modelo sea válido con respecto a esa variable de interés. El valor se denota con el símbolo ε. Para realizar la prueba, se llevan a cabo n ejecuciones estadísticamente independientes del modelo y se produce un valor medio o esperado, E(Y) o μ, para la variable de salida de la simulación de interés Y, con una desviación estándar S. Se selecciona un nivel de confianza, 100(1-α). Se construye un intervalo, [a,b], mediante

${\displaystyle a=E(Y)-t_{a/2,n-1}S/{\sqrt {n}}\qquad y\qquad b=E(Y)+t_{a/2,n-1}S/{\sqrt {n}}}$,

dónde

${\displaystyle t_{a/2,n-1}}$

es el valor crítico de la distribución t para el nivel de significancia dado y n-1 grados de libertad.

Si |a-μ ₀ | > ε y |b-μ ₀ | > ε entonces el modelo necesita ser calibrado ya que en ambos casos la diferencia es mayor que aceptable.

Si |a-μ ₀ | < ε y |b-μ ₀ | < ε entonces el modelo es aceptable ya que en ambos casos el error es suficientemente cercano.

Si |a-μ ₀ | < ε y |b-μ ₀ | > ε o viceversa , entonces se necesitan ejecuciones adicionales del modelo para reducir el intervalo.

Si no se pueden satisfacer los supuestos estadísticos o no hay datos suficientes para el sistema, se pueden utilizar comparaciones gráficas de las salidas del modelo con las salidas del sistema para tomar decisiones subjetivas; sin embargo, son preferibles otras pruebas objetivas. ^{[ 3 ]}