False coverage rate

The following table defines the possible outcomes when testing multiple null hypotheses. Suppose we have a number m of null hypotheses, denoted by: H₁, H₂, ..., H_m. Using a statistical test, we reject the null hypothesis if the test is declared significant. We do not reject the null hypothesis if the test is non-significant. Summing each type of outcome over all H_i  yields the following random variables:

• m is the total number hypotheses tested
• ${\displaystyle m_{0}}$es el número de hipótesis nulas verdaderas , un parámetro desconocido
• ${\displaystyle m-m_{0}}$es el número de hipótesis alternativas verdaderas
• V es el número de falsos positivos (error de tipo I) (también llamados "falsos descubrimientos").
• S es el número de verdaderos positivos (también llamados "verdaderos descubrimientos").
• T es el número de falsos negativos (error de tipo II).
• U es el número de verdaderos negativos
• ${\displaystyle R=V+S}$es el número de hipótesis nulas rechazadas (también llamadas "descubrimientos", ya sean verdaderas o falsas)

En m pruebas de hipótesis de las cuales${\displaystyle m_{0}}$son hipótesis nulas verdaderas, R es una variable aleatoria observable y S , T , U y V son variables aleatorias no observables .

La selección provoca una cobertura promedio reducida. La selección puede presentarse como un condicionamiento a un evento definido por los datos y puede afectar la probabilidad de cobertura de un IC para un solo parámetro . De manera equivalente, el problema de la selección cambia el sentido básico de los valores p . Los procedimientos FCR consideran que el objetivo de la cobertura condicional siguiendo cualquier regla de selección para cualquier conjunto de valores (desconocidos) para los parámetros es imposible de lograr. Una propiedad más débil en lo que respecta a los IC selectivos es posible y evitará declaraciones de cobertura falsas. FCR es una medida de la cobertura del intervalo después de la selección. Por lo tanto, aunque un IC 1  − α no ofrece cobertura selectiva ( condicional ), la probabilidad de construir un IC sin cobertura es como máximo α , donde 

${\displaystyle \Pr[\theta \not \in \mathrm {CI} ,\ {\text{CI constructed}}]\leq \Pr[\theta \not \in \mathrm {CI} ]\leq \alpha }$

Al enfrentarse a la multiplicidad (inferencia sobre múltiples parámetros) y a la selección , la proporción esperada de cobertura sobre los parámetros seleccionados en 1−α no solo no es equivalente a la proporción esperada de no cobertura en α, sino que esta última ya no puede garantizarse mediante la construcción de intervalos de confianza marginales para cada parámetro seleccionado. Los procedimientos FCR resuelven esto tomando la proporción esperada de parámetros no cubiertos por sus intervalos de confianza entre los parámetros seleccionados, donde la proporción es 0 si no se selecciona ningún parámetro. Esta tasa de falsa cobertura (FCR) es una propiedad de cualquier procedimiento que se define por la forma en que se seleccionan los parámetros y la forma en que se construyen los múltiples intervalos.

Intervalos de confianza simultáneos con el procedimiento de Bonferroni cuando tenemos m parámetros, cada intervalo de confianza marginal construido al nivel 1 − α/m. Sin selección, estos intervalos de confianza ofrecen cobertura simultánea, en el sentido de que la probabilidad de que todos los intervalos de confianza cubran sus respectivos parámetros es al menos 1 − α. Desafortunadamente, incluso una propiedad tan sólida no garantiza la propiedad de confianza condicional después de la selección.

El procedimiento Bonferroni-Bonferroni no puede ofrecer cobertura condicional, sin embargo, controla el FCR en <α De hecho, lo hace demasiado bien, en el sentido de que el FCR está demasiado cerca de 0 para valores grandes de θ. La selección de intervalos se basa en la prueba de Bonferroni, y luego se construyen IC de Bonferroni. El FCR se estima como, la proporción de intervalos que no cubren sus parámetros respectivos entre los IC construidos se calcula (estableciendo la proporción en 0 cuando no se selecciona ninguno). Donde la selección se basa en pruebas individuales no ajustadas y se construyen IC no ajustados.

En el procedimiento BH para FDR después de ordenar los valores p P (1) ≤  • • •  ≤ P ( m ) y calcular R = max{ j  : P ( j ) ≤ j • q / m }, las R hipótesis nulas para las cuales P ( i ) ≤ R • q / m son rechazadas. Si la prueba se realiza utilizando el procedimiento de Bonferroni, entonces el límite inferior del FCR puede caer muy por debajo del nivel deseado q , lo que implica que los intervalos son demasiado largos. Por el contrario, aplicar el siguiente procedimiento, que combina el procedimiento general con la prueba de control de FDR en el procedimiento BH, también produce un límite inferior para el FCR, q /2 ≤ FCR. Este procedimiento es preciso en el sentido de que para algunas configuraciones, el FCR se aproxima a q .

1. Ordene los valores p utilizados para probar las m hipótesis con respecto a los parámetros, P (1) ≤ • • • ≤ P ( m ).

2. Calcular R = max{ i  : P ( i ) ≤ i • q / m }.

3. Seleccione los parámetros R para los cuales P ( i ) ≤ R • q / m , correspondientes a las hipótesis rechazadas.

4. Construya un IC de 1 − R • q / m para cada parámetro seleccionado.