Evaluación de probabilidad calibrada

Las evaluaciones de probabilidad calibradas son probabilidades subjetivas asignadas por individuos que han sido entrenados para evaluar probabilidades de una manera que representa históricamente su incertidumbre. ^{[ 1 ] [ 2 ]} Por ejemplo, cuando una persona ha calibrado una situación y dice que tiene un "80 % de confianza" en cada una de las 100 predicciones que hizo, acertará aproximadamente el 80 % de ellas. Del mismo modo, acertará el 90 % de las veces que diga que tiene un 90 % de certeza, y así sucesivamente.

El entrenamiento de calibración mejora las probabilidades subjetivas porque la mayoría de las personas son o bien "excesivamente seguras de sí mismas" o bien "inseguras de sí mismas" (generalmente lo primero). ^{[ 3 ]} Al practicar con una serie de preguntas de trivialidades, es posible que los sujetos perfeccionen su capacidad para evaluar probabilidades. Por ejemplo, se le puede preguntar a un sujeto:

Verdadero o falso: "Un disco de hockey cabe en un hoyo de golf".

Confianza: Elige la probabilidad que mejor represente tu posibilidad de acertar esta pregunta...

50% 60% 70% 80% 90% 100%

Si una persona no tiene ni idea, dirá que solo tiene un 50 % de confianza. Si está absolutamente segura de que tiene razón, dirá que tiene un 100 %. Pero la mayoría de la gente responderá en algún punto intermedio. Si a una persona con un nivel de confianza adecuado se le hacen muchas preguntas de este tipo, acertará aproximadamente la cantidad esperada. Una persona sin un nivel de confianza adecuado, que es sistemáticamente demasiado confiada, puede decir que tiene un 90 % de confianza en muchas preguntas cuando solo acierta el 70 %. Por otro lado, una persona sin un nivel de confianza adecuado, que es sistemáticamente demasiado insegura, puede decir que tiene un 50 % de confianza en muchas preguntas cuando en realidad acierta el 70 %.

Como alternativa, se le pedirá al participante que proporcione un rango numérico para una pregunta como "¿En qué año invadió Napoleón Rusia?", con la instrucción de que dicho rango represente un intervalo de confianza del 90% . Es decir, el participante debe tener un 90% de confianza en que el rango contiene la respuesta correcta.

El entrenamiento de calibración generalmente implica realizar una batería de dichas pruebas. Se proporciona retroalimentación entre las pruebas y los sujetos refinan sus probabilidades. El entrenamiento de calibración también puede incluir el aprendizaje de otras técnicas que ayudan a compensar la confianza excesiva o insuficiente constante. Dado que los sujetos son mejores al establecer probabilidades cuando simulan apostar dinero, ^{[ 1 ]} se les enseña cómo convertir las preguntas de calibración en un tipo de juego de apuestas que ha demostrado mejorar sus probabilidades subjetivas. ^{[ 4 ]} Se han desarrollado varios métodos colaborativos, como el mercado de predicción , para que se puedan tener en cuenta las estimaciones subjetivas de múltiples individuos.

Los métodos de modelado estocástico, como el método de Monte Carlo, suelen utilizar estimaciones subjetivas de "expertos en la materia". Las investigaciones demuestran que es muy probable que estos expertos tengan un exceso de confianza estadística y, por lo tanto, el modelo tenderá a subestimar la incertidumbre y el riesgo. El entrenamiento de calibración se utiliza para aumentar la capacidad de una persona para proporcionar estimaciones precisas en métodos estocásticos. Las investigaciones revelaron que la mayoría de las personas podrían calibrarse si dedicaran el tiempo necesario y que la calibración de una persona, es decir, su desempeño al proporcionar estimaciones precisas, se transfiere a las estimaciones proporcionadas para contenido ajeno al entrenamiento de calibración, como su campo de trabajo. ^{[ 5 ]} Dicha calibración solo podría mejorar la precisión hasta cierto punto y sugirió el uso de tecnologías correctivas además de la calibración de expertos. ^{[ 6 ]}

El método de Economía de la Información Aplicada utiliza sistemáticamente el entrenamiento de calibración como parte de un proceso de modelado de decisiones.

Una de las conclusiones de "Calibración de probabilidades: El estado del arte hasta 1980" fue que el entrenamiento solo puede mejorar la calibración hasta un punto limitado. ^{[ 1 ]}

• Efecto Dunning-Kruger : sesgo cognitivo sobre la propia habilidad. 
• Coherencia (estrategia de juego filosófica) , también conocida como el juego de De Finetti : experimento mental para justificar la probabilidad bayesiana. Páginas que muestran breves descripciones de los objetivos de redireccionamiento. 
• Calibración (estadística) – Término ambiguo en estadística 
• Efecto de exceso de confianza : sesgo cognitivo personal 

• credencecalibration.com Archivado el 7 de agosto de 2016 en Wayback Machine , un juego en línea para calibrar la evaluación de probabilidades.