Inferencia estadística

Dada la dificultad de especificar distribuciones exactas de las estadísticas de la muestra, se han desarrollado muchos métodos para aproximarlas.

Con muestras finitas, los resultados de aproximación miden qué tan cerca se aproxima una distribución límite a la distribución muestral del estadístico : por ejemplo, con 10 000 muestras independientes, la distribución normal se aproxima (con dos dígitos de precisión) a la distribución de la media muestral para muchas distribuciones de población, según el teorema de Berry-Esseen . ^{[ 15 ]} Sin embargo, para muchos propósitos prácticos, la aproximación normal proporciona una buena aproximación a la distribución de la media muestral cuando hay 10 (o más) muestras independientes, según estudios de simulación y la experiencia de los estadísticos. ^{[ 15 ]} Siguiendo el trabajo de Kolmogorov en la década de 1950, la estadística avanzada utiliza la teoría de la aproximación y el análisis funcional para cuantificar el error de aproximación. En este enfoque, se estudia la geometría métrica de las distribuciones de probabilidad ; este enfoque cuantifica el error de aproximación con, por ejemplo, la divergencia de Kullback-Leibler , la divergencia de Bregman y la distancia de Hellinger . ^{[ 16 ] [ 17 ] [ 18 ]}

Con muestras indefinidamente grandes, los resultados límite como el teorema del límite central describen la distribución límite del estadístico de muestra si existe. Los resultados límite no son afirmaciones sobre muestras finitas, y de hecho son irrelevantes para muestras finitas. ^{[ 19 ] [ 20 ] [ 21 ]} Sin embargo, la teoría asintótica de las distribuciones límite se invoca a menudo para trabajar con muestras finitas. Por ejemplo, los resultados límite se invocan a menudo para justificar el método generalizado de momentos y el uso de ecuaciones de estimación generalizadas , que son populares en econometría y bioestadística . La magnitud de la diferencia entre la distribución límite y la distribución verdadera (formalmente, el "error" de la aproximación) se puede evaluar mediante simulación . ^{[ 22 ]} La aplicación heurística de los resultados límite a muestras finitas es una práctica común en muchas aplicaciones, especialmente con modelos de baja dimensión con verosimilitudes log-cóncavas (como con familias exponenciales de un parámetro ).

Es práctica habitual referirse a un modelo estadístico, por ejemplo, un modelo lineal o logístico, al analizar datos de experimentos aleatorizados. ^{[ 40 ]} Sin embargo, el esquema de aleatorización guía la elección de un modelo estadístico. No es posible elegir un modelo apropiado sin conocer el esquema de aleatorización. ^{[ 24 ]} Se pueden obtener resultados muy engañosos al analizar datos de experimentos aleatorizados ignorando el protocolo experimental; los errores comunes incluyen olvidar el bloqueo utilizado en un experimento y confundir mediciones repetidas en la misma unidad experimental con réplicas independientes del tratamiento aplicado a diferentes unidades experimentales. ^{[ 41 ]}

Las técnicas sin modelo complementan los métodos basados ​​en modelos, que emplean estrategias reduccionistas de simplificación de la realidad. Las primeras combinan, desarrollan, integran y entrenan algoritmos que se adaptan dinámicamente a las afinidades contextuales de un proceso y aprenden las características intrínsecas de las observaciones. ^{[ 42 ] [ 43 ]}

Por ejemplo, la regresión lineal simple sin modelo se basa en:

• un diseño aleatorio , donde los pares de observaciones${\displaystyle (X_{1},Y_{1}),(X_{2},Y_{2}),\cdots ,(X_{n},Y_{n})}$son independientes e idénticamente distribuidas (iid),
• o un diseño determinista , donde las variables${\displaystyle X_{1},X_{2},\cdots ,X_{n}}$son deterministas, pero las variables de respuesta correspondientes${\displaystyle Y_{1},Y_{2},\cdots,Y_{n}}$son aleatorios e independientes con una distribución condicional común, es decir,${\displaystyle P\left(Y_{j}\leq y|X_{j}=x\right)=D_{x}(y)}$, que es independiente del índice${\displaystyle j}$.

En cualquier caso, la inferencia de aleatorización sin modelo para características de la distribución condicional común${\displaystyle D_{x}(.)}$se basa en algunas condiciones de regularidad, por ejemplo, suavidad funcional. Por ejemplo, la inferencia de aleatorización sin modelo para la media condicional de la característica de la población ,${\displaystyle \mu (x)=E(Y|X=x)}$, puede estimarse de forma consistente mediante promedio local o ajuste polinómico local, bajo el supuesto de que${\displaystyle \mu (x)}$es suave. Además, confiando en la normalidad asintótica o el remuestreo, podemos construir intervalos de confianza para la característica de la población, en este caso, la media condicional ,${\displaystyle \mu (x)}$. ^{[ 44 ]}

• valor p
• Intervalo de confianza
• Prueba de significancia de la hipótesis nula

Una interpretación de la inferencia frecuentista (o inferencia clásica) es que solo es aplicable en términos de probabilidad de frecuencia ; es decir, en términos de muestreo repetido de una población. Sin embargo, el enfoque de Neyman ^{[ 46 ]} desarrolla estos procedimientos en términos de probabilidades previas al experimento. Es decir, antes de realizar un experimento, se decide una regla para llegar a una conclusión de manera que la probabilidad de acertar se controle adecuadamente: dicha probabilidad no necesita tener una interpretación frecuentista o de muestreo repetido. En contraste, la inferencia bayesiana trabaja en términos de probabilidades condicionales (es decir, probabilidades condicionadas a los datos observados), en comparación con las probabilidades marginales (pero condicionadas a parámetros desconocidos) utilizadas en el enfoque frecuentista.

Los procedimientos frecuentistas de pruebas de significancia e intervalos de confianza pueden construirse sin considerar las funciones de utilidad . Sin embargo, algunos elementos de la estadística frecuentista, como la teoría de la decisión estadística , sí incorporan funciones de utilidad . En particular, los desarrollos frecuentistas de inferencia óptima (como los estimadores insesgados de varianza mínima o las pruebas uniformemente más potentes ) utilizan funciones de pérdida , que desempeñan el papel de funciones de utilidad (negativas). No es necesario que los teóricos estadísticos indiquen explícitamente las funciones de pérdida para demostrar que un procedimiento estadístico tiene una propiedad de optimalidad. ^{[ 47 ]} Sin embargo, las funciones de pérdida suelen ser útiles para indicar propiedades de optimalidad: por ejemplo, los estimadores insesgados de mediana son óptimos bajo funciones de pérdida de valor absoluto , ya que minimizan la pérdida esperada, y los estimadores de mínimos cuadrados son óptimos bajo funciones de pérdida de error cuadrático, ya que minimizan la pérdida esperada.

Si bien los estadísticos que utilizan la inferencia frecuentista deben elegir por sí mismos los parámetros de interés y los estimadores / estadísticos de prueba que se utilizarán, la ausencia de utilidades y distribuciones previas obviamente explícitas ha contribuido a que los procedimientos frecuentistas sean ampliamente considerados como "objetivos". ^{[ 48 ]}

• Intervalo de credibilidad para la estimación por intervalos
• Factores de Bayes para la comparación de modelos

Muchas inferencias bayesianas informales se basan en resúmenes "intuitivamente razonables" de la distribución posterior. Por ejemplo, la media, la mediana y la moda posteriores, los intervalos de máxima densidad posterior y los factores de Bayes pueden justificarse de esta manera. Si bien no es necesario especificar la función de utilidad del usuario para este tipo de inferencia, estos resúmenes dependen (en cierta medida) de creencias previas declaradas y, por lo general, se consideran conclusiones subjetivas. (Se han propuesto métodos de construcción de distribuciones previas que no requieren información externa, pero aún no se han desarrollado por completo).

Formalmente, la inferencia bayesiana se calibra con referencia a una función de utilidad o pérdida explícitamente definida; la «regla de Bayes» es aquella que maximiza la utilidad esperada, promediada sobre la incertidumbre posterior. Por lo tanto, la inferencia bayesiana formal proporciona automáticamente decisiones óptimas en un sentido de teoría de la decisión . Con supuestos, datos y utilidad, la inferencia bayesiana puede aplicarse a prácticamente cualquier problema, aunque no toda inferencia estadística necesita una interpretación bayesiana. Los análisis que no son formalmente bayesianos pueden ser (lógicamente) incoherentes ; una característica de los procedimientos bayesianos que utilizan distribuciones a priori adecuadas (es decir, integrables a uno) es que se garantiza su coherencia . Algunos defensores de la inferencia bayesiana afirman que la inferencia debe realizarse dentro de este marco de teoría de la decisión, y que la inferencia bayesiana no debe concluir con la evaluación y el resumen de creencias posteriores.

El principio de longitud de descripción mínima (MDL) se ha desarrollado a partir de ideas de la teoría de la información ^{[ 50 ]} y la teoría de la complejidad de Kolmogorov . ^{[ 51 ]} El principio (MDL) selecciona modelos estadísticos que comprimen al máximo los datos; la inferencia procede sin asumir mecanismos de generación de datos contrafactuales o no falsables, ni modelos de probabilidad para los datos, como podría hacerse en los enfoques frecuentistas o bayesianos.

Sin embargo, si existe un "mecanismo generador de datos" en la realidad, entonces, según el teorema de codificación de fuentes de Shannon , proporciona la descripción MDL de los datos, en promedio y asintóticamente. ^{[ 52 ]} Al minimizar la longitud de la descripción (o complejidad descriptiva), la estimación MDL es similar a la estimación de máxima verosimilitud y a la estimación de máxima probabilidad a posteriori (utilizando distribuciones a priori bayesianas de máxima entropía ). Sin embargo, MDL evita asumir que se conoce el modelo de probabilidad subyacente; el principio MDL también puede aplicarse sin supuestos como, por ejemplo, que los datos provienen de un muestreo independiente. ^{[ 52 ] [ 53 ]}

El principio MDL se ha aplicado en la teoría de la comunicación-codificación en la teoría de la información , en la regresión lineal , ^{[ 53 ]} y en la minería de datos . ^{[ 51 ]}

La evaluación de los procedimientos inferenciales basados ​​en MDL a menudo utiliza técnicas o criterios de la teoría de la complejidad computacional . ^{[ 54 ]}

La inferencia fiducial fue un enfoque de inferencia estadística basado en la probabilidad fiducial , también conocida como "distribución fiducial". En trabajos posteriores, este enfoque ha sido calificado de mal definido, de aplicabilidad extremadamente limitada e incluso falaz. ^{[ 55 ] [ 56 ]} Sin embargo, este argumento es el mismo que muestra ^{[ 57 ]} que una supuesta distribución de confianza no es una distribución de probabilidad válida y, dado que esto no ha invalidado la aplicación de los intervalos de confianza , no necesariamente invalida las conclusiones extraídas de los argumentos fiduciales. Se intentó reinterpretar el trabajo inicial del argumento fiducial de Fisher como un caso especial de una teoría de inferencia que utiliza probabilidades superiores e inferiores . ^{[ 58 ]}

Desarrollando ideas de Fisher y Pitman entre 1938 y 1939, ^{[ 59 ]} George A. Barnard desarrolló la "inferencia estructural" o "inferencia pivotal", ^{[ 60 ]} un enfoque que utiliza probabilidades invariantes en familias de grupos . Barnard reformuló los argumentos detrás de la inferencia fiducial en una clase restringida de modelos en los que los procedimientos "fiduciales" estarían bien definidos y serían útiles. Donald AS Fraser desarrolló una teoría general para la inferencia estructural ^{[ 61 ]} basada en la teoría de grupos y la aplicó a modelos lineales. ^{[ 62 ]} La teoría formulada por Fraser tiene vínculos estrechos con la teoría de la decisión y la estadística bayesiana y puede proporcionar reglas de decisión frecuentistas óptimas si existen. ^{[ 63 ]}

Véase Inferencia Universal