Principio de verosimilitud

En estadística , el principio de verosimilitud es la proposición de que, dado un modelo estadístico , toda la evidencia en una muestra relevante para los parámetros del modelo está contenida en la función de verosimilitud .

Una función de verosimilitud surge de una función de densidad de probabilidad considerada como una función de su argumento de parametrización distribucional. Por ejemplo, considere un modelo que da la función de densidad de probabilidad de una variable aleatoria observable como una función de un parámetro  . Entonces, para un valor específico de , la función es una función de verosimilitud de  : da una medida de cuán "probable" es cualquier valor particular de , si sabemos que tiene el valor  . La función de densidad puede ser una densidad con respecto a la medida de conteo, es decir, una función de masa de probabilidad . ${\displaystyle \;f_{X}(x\mid \theta )\;}$ ${\displaystyle \,X\,}$${\displaystyle \,\theta ~}$${\displaystyle \,x\,}$${\displaystyle \,X~}$${\displaystyle \,{\mathcal {L}}(\theta \mid x)=f_{X}(x\mid \theta )\;}$${\displaystyle \,\theta ~}$${\displaystyle \,\theta \,}$${\displaystyle \,X\,}$${\displaystyle \,x~}$

Dos funciones de verosimilitud son equivalentes si una es un múltiplo escalar de la otra. ^[a] El principio de verosimilitud es el siguiente: toda la información de los datos que es relevante para inferencias sobre el valor de los parámetros del modelo está en la clase de equivalencia a la que pertenece la función de verosimilitud. El principio de verosimilitud fuerte aplica este mismo criterio a casos como los experimentos secuenciales donde la muestra de datos disponible resulta de aplicar una regla de detención a las observaciones anteriores en el experimento. ^[1]

Suponer

• ${\displaystyle \ X\ }$es el número de éxitos en doce ensayos de Bernoulli independientes , cada intento tiene una probabilidad de éxito en cada ensayo, y${\displaystyle \ \theta \ }$
• ${\displaystyle \ Y\ }$es el número de ensayos de Bernoulli independientes necesarios para obtener un total de tres éxitos, nuevamente cada intento con probabilidad de éxito en cada ensayo (si fuera una moneda justa, cada lanzamiento tendría uno de los resultados, cara o cruz).${\displaystyle \ \theta \ }$${\displaystyle \ \theta ={\tfrac {\!\ 1\!\ }{2}}\ }$

Entonces la observación que induce la función de verosimilitud ${\displaystyle \ X=3\ }$

${\displaystyle \ \operatorname {\mathcal {L}} \left(\ \theta \ \mid \ X=3\ \right)={\binom {12}{3}}~\theta ^{3}\ (1-\theta )^{9}=220\ \theta ^{3}\ (1-\theta )^{9}\ ,}$

mientras que la observación que induce la función de verosimilitud ${\displaystyle \ Y=12\ }$

${\displaystyle \ \operatorname {\mathcal {L}} \left(\ \theta \ \mid \ Y=12\ \right)={\binom {11}{2}}~\theta ^{3}\ (1-\theta )^{9}=55\ \theta ^{3}\ (1-\theta )^{9}~.}$

El principio de verosimilitud dice que, como los datos son los mismos en ambos casos, las inferencias extraídas sobre el valor de también deberían ser las mismas. Además, todo el contenido inferencial de los datos sobre el valor de está contenido en las dos verosimilitudes, y es el mismo si son proporcionales entre sí. Este es el caso en el ejemplo anterior, lo que refleja el hecho de que la diferencia entre observar y observar no radica en los datos reales recopilados, ni en la conducta del experimentador, sino en los dos diseños diferentes del experimento . ${\displaystyle \ \theta \ }$${\displaystyle \ \theta \ }$${\displaystyle \ X=3\ }$${\displaystyle \ Y=12\ }$

En concreto, en un caso, la decisión previa fue intentarlo doce veces, independientemente del resultado; en el otro caso, la decisión previa fue seguir intentándolo hasta que se observaran tres éxitos. Si se apoya el principio de verosimilitud , entonces la inferencia sobre debería ser la misma para ambos casos porque las dos probabilidades son proporcionales entre sí: excepto por un factor principal constante de 220 frente a 55 , las dos funciones de verosimilitud son las mismas: múltiplos constantes entre sí. ${\displaystyle \ \theta \ }$

Sin embargo, esta equivalencia no siempre es así. El uso de métodos frecuentistas que involucran valores p lleva a inferencias diferentes para los dos casos anteriores, ^[2] lo que demuestra que el resultado de los métodos frecuentistas depende del procedimiento experimental y, por lo tanto, viola el principio de verosimilitud.

Un concepto relacionado es la ley de probabilidad , la noción de que el grado en que la evidencia apoya un valor de parámetro o hipótesis contra otro está indicado por la relación de sus probabilidades, su razón de verosimilitud . Es decir,

${\displaystyle \Lambda ={{\mathcal {L}}(a\mid X=x) \over {\mathcal {L}}(b\mid X=x)}={P(X=x\mid a) \over P(X=x\mid b)}}$

es el grado en que la observación x apoya el valor del parámetro o la hipótesis a contra b . Si esta razón es 1, la evidencia es indiferente; si es mayor que 1, la evidencia apoya el valor a contra b ; o si es menor, entonces viceversa.

En estadística bayesiana , esta relación se conoce como factor de Bayes , y la regla de Bayes puede verse como la aplicación de la ley de probabilidad a la inferencia.

En la inferencia frecuentista , la razón de verosimilitud se utiliza en la prueba de razón de verosimilitud , pero también se utilizan otras pruebas de no verosimilitud. El lema de Neyman-Pearson establece que la prueba de razón de verosimilitud es tan poderosa estadísticamente como la prueba más poderosa para comparar dos hipótesis simples en un nivel de significación dado , lo que da una justificación frecuentista para la ley de verosimilitud.

La combinación del principio de verosimilitud con la ley de verosimilitud da como resultado que el valor del parámetro que maximiza la función de verosimilitud es el valor que está más firmemente respaldado por la evidencia. Esta es la base del método ampliamente utilizado de máxima verosimilitud .

El principio de verosimilitud fue identificado por primera vez con ese nombre en forma impresa en 1962 (Barnard et al ., Birnbaum y Savage et al .), pero los argumentos a favor del mismo principio, sin nombre, y el uso del principio en aplicaciones se remontan a los trabajos de RA Fisher en la década de 1920. La ley de verosimilitud fue identificada con ese nombre por I. Hacking (1965). Más recientemente, el principio de verosimilitud como principio general de inferencia ha sido defendido por AWF Edwards . El principio de verosimilitud ha sido aplicado a la filosofía de la ciencia por R. Royall. ^[3]

Birnbaum (1962) argumentó inicialmente que el principio de probabilidad se desprende de dos principios más primitivos y aparentemente razonables, el principio de condicionalidad y el principio de suficiencia :

• El principio de condicionalidad dice que si un experimento se elige mediante un proceso aleatorio independiente de los estados de la naturaleza, entonces solo el experimento realmente realizado es relevante para las inferencias sobre${\displaystyle \ \theta \ ,}$${\displaystyle \ \theta ~.}$
• El principio de suficiencia dice que si es una estadística suficiente para y si en dos experimentos con datos y tenemos entonces la evidencia acerca de dada por los dos experimentos es la misma.${\displaystyle \ T(X)\ }$${\displaystyle \ \theta \ ,}$${\displaystyle \ x_{1}\ }$${\displaystyle \ x_{2}\ }$${\displaystyle \ T(x_{1})=T(x_{2})\ ,}$${\displaystyle \ \theta \ }$

Sin embargo, tras una reflexión más profunda, Birnbaum rechazó tanto su principio de condicionalidad como el principio de probabilidad. ^[4] La idoneidad del argumento original de Birnbaum también ha sido cuestionada por otros ( ver más abajo para más detalles ).

Algunos métodos ampliamente utilizados de estadística convencional, por ejemplo muchas pruebas de significancia , no son consistentes con el principio de verosimilitud.

Consideremos brevemente algunos de los argumentos a favor y en contra del principio de verosimilitud.

Según Giere (1977), ^[5] Birnbaum rechazó ^[4] tanto su propio principio de condicionalidad como el principio de verosimilitud porque ambos eran incompatibles con lo que él llamó el “concepto de confianza de la evidencia estadística”, que Birnbaum (1970) describe como tomado “de las técnicas del enfoque de Neyman-Pearson para evaluar y limitar sistemáticamente las probabilidades (bajo las respectivas hipótesis) de interpretaciones seriamente engañosas de los datos” ( ^[4] p. 1033). El concepto de confianza incorpora solo aspectos limitados del concepto de verosimilitud y solo algunas aplicaciones del concepto de condicionalidad. Birnbaum señala más tarde que fue la formulación de equivalencia no calificada de su versión de 1962 del principio de condicionalidad lo que condujo “al monstruo del axioma de verosimilitud” ( ^[6] p. 263).

El argumento original de Birnbaum para el principio de verosimilitud también ha sido cuestionado por otros estadísticos, entre ellos Akaike , ^[7] Evans ^[8] y filósofos de la ciencia, entre ellos Deborah Mayo . ^{[9] [10]} Dawid señala diferencias fundamentales entre las definiciones de Mayo y Birnbaum del principio de condicionalidad, argumentando que el argumento de Birnbaum no puede descartarse tan fácilmente. ^[11] Gandenberger ha proporcionado una nueva prueba del principio de verosimilitud que aborda algunos de los contraargumentos a la prueba original. ^[12]

Los eventos no realizados desempeñan un papel en algunos métodos estadísticos comunes. Por ejemplo, el resultado de una prueba de significancia depende del valor p , la probabilidad de un resultado tan extremo o más extremo que la observación, y esa probabilidad puede depender del diseño del experimento. En la medida en que se acepte el principio de verosimilitud, tales métodos quedan, por tanto, rechazados.

Algunas pruebas de significación clásicas no se basan en la probabilidad. A continuación se presentan ejemplos simples y más complicados de ellas, utilizando un ejemplo comúnmente citado llamado el problema de parada opcional .

Ejemplo 1 – versión simple

Supongamos que le digo que lancé una moneda 12 veces y en el proceso observé 3 caras. Podría hacer alguna inferencia sobre la probabilidad de que saliera cara y si la moneda era justa.

Supongamos ahora que digo que lancé la moneda hasta que vi que salieron 3 caras y la lancé 12 veces. ¿Podrías hacer ahora una inferencia diferente?

La función de verosimilitud es la misma en ambos casos: es proporcional a

${\displaystyle p^{3}(1-p)^{9}~}$.

Así pues, según el principio de verosimilitud , en ambos casos la inferencia debería ser la misma.

Ejemplo 2: una versión más elaborada de las mismas estadísticas

Supongamos que varios científicos están evaluando la probabilidad de un determinado resultado (al que llamaremos "éxito") en ensayos experimentales. La sabiduría convencional sugiere que si no hay sesgo hacia el éxito o el fracaso, entonces la probabilidad de éxito sería la mitad. Adam, un científico, realizó 12 ensayos y obtuvo 3 éxitos y 9 fracasos. Uno de esos éxitos fue la duodécima y última observación. Luego, Adam abandonó el laboratorio.

Bill, un colega del mismo laboratorio, continuó el trabajo de Adam y publicó los resultados de Adam, junto con una prueba de significancia. Probó la hipótesis nula de que p , la probabilidad de éxito, es igual a la mitad, frente a p < 0,5  . Si ignoramos la información de que el tercer éxito fue la observación número 12 y última, la probabilidad del resultado observado de que de 12 ensayos 3 o algo menos (es decir, más extremos) fueron éxitos, si H ₀ es verdadera, es

${\displaystyle \left[{12 \choose 3}+{12 \choose 2}+{12 \choose 1}+{12 \choose 0}\right]\left({1 \over 2}\right)^{12}~}$,

cual es299/4096⁠ = 7,3 %  . Por lo tanto, la hipótesis nula no se rechaza con un nivel de significación del 5 % si ignoramos el conocimiento de que el tercer éxito fue el duodécimo resultado.

Sin embargo, observe que este primer cálculo también incluye 12 secuencias de tokens de longitud que terminan en cola, contrariamente al enunciado del problema.

Si volvemos a hacer este cálculo, nos damos cuenta de que la probabilidad según la hipótesis nula debe ser la probabilidad de que una moneda justa caiga 2 o menos caras en 11 ensayos multiplicada por la probabilidad de que la moneda justa caiga cara en el 12.º ensayo:

${\displaystyle \left[{11 \choose 2}+{11 \choose 1}+{11 \choose 0}\right]\left({1 \over 2}\right)^{11}{1 \over 2}~}$,

cual es67/2048⁠ ⁠1/2⁠ = ⁠67/4096⁠ = 1,64 %  . Ahora el resultado es estadísticamente significativo al nivel del 5 % .

Charlotte, otra científica, lee el trabajo de Bill y escribe una carta, diciendo que es posible que Adam haya seguido intentándolo hasta obtener 3 éxitos, en cuyo caso la probabilidad de necesitar realizar 12 o más experimentos está dada por

${\displaystyle \left[{11 \choose 2}+{11 \choose 1}+{11 \choose 0}\right]\left({1 \over 2}\right)^{11}{1 \over 2}~}$,

cual es134/4096⁠ ⁠1/2⁠ = 1,64 %  . Ahora el resultado es estadísticamente significativo al nivel del 5 % . Nótese que no hay contradicción entre los dos últimos análisis correctos; ambos cálculos son correctos y dan como resultado el mismo valor p.

Para estos científicos, que un resultado sea significativo o no no depende del diseño del experimento, sino de la probabilidad (en el sentido de la función de probabilidad) de que el valor del parámetro sea  ⁠1/2⁠  .

Resumen de los temas ilustrados

Algunos consideran que este tipo de resultados constituyen argumentos contra el principio de verosimilitud, mientras que otros los consideran un ejemplo del valor de dicho principio y un argumento contra las pruebas de significación.

Temas similares aparecen cuando se compara la prueba exacta de Fisher con la prueba de chi-cuadrado de Pearson .

Edwards ofrece un argumento a favor del principio de verosimilitud en su libro Likelihood . Cita la siguiente historia de J. W. Pratt, ligeramente condensada aquí. Obsérvese que la función de verosimilitud depende únicamente de lo que realmente ocurrió, y no de lo que podría haber ocurrido.

Un ingeniero toma una muestra aleatoria de tubos electrónicos y mide sus voltajes. Las mediciones van de 75 a 99 voltios. Un estadístico calcula la media de la muestra y un intervalo de confianza para la media real. Más tarde, el estadístico descubre que el voltímetro solo mide hasta 100 voltios, por lo que, técnicamente, la población parece estar “ censurada ”. Si el estadístico es ortodoxo, esto requiere un nuevo análisis.

Sin embargo, el ingeniero dice que tiene otro medidor que marca 1000 voltios, que habría usado si cualquier voltaje hubiera sido superior a 100. Esto es un alivio para el estadístico, porque significa que la población no fue censurada después de todo. Pero más tarde, el estadístico descubre que el segundo medidor no estaba funcionando cuando se tomaron las mediciones. El ingeniero le informa al estadístico que no habría retrasado las mediciones originales hasta que se arreglara el segundo medidor, y el estadístico le informa que se requieren nuevas mediciones. El ingeniero está asombrado. “ ¡Ahora me preguntará por mi osciloscopio! ”

Regresemos al ejemplo 2 de la sección anterior

Esta historia se puede traducir a la regla de detención de Adam mencionada anteriormente, de la siguiente manera: Adam se detuvo inmediatamente después de 3 éxitos, porque su jefe Bill le había ordenado que lo hiciera. Después de la publicación del análisis estadístico de Bill, Adam se da cuenta de que se ha perdido una instrucción posterior de Bill de realizar en su lugar 12 ensayos, y que el artículo de Bill se basa en esta segunda instrucción. Adam está muy contento de haber obtenido sus 3 éxitos después de exactamente 12 ensayos, y le explica a su amiga Charlotte que por coincidencia ejecutó la segunda instrucción. Más tarde, Adam se sorprende al enterarse de la carta de Charlotte, explicando que ahora el resultado es significativo.

• Principio de condicionalidad
• Estadísticas de verosimilitud