Análisis exploratorio de datos

En estadística , el análisis exploratorio de datos (AED) o analítica exploratoria es un enfoque para analizar conjuntos de datos con el fin de resumir sus características principales, a menudo utilizando gráficos estadísticos y otros métodos de visualización de datos . Se puede utilizar o no un modelo estadístico , pero principalmente el AED busca ver qué pueden revelar los datos más allá del modelado formal y, por lo tanto, contrasta con la prueba de hipótesis tradicional, en la que se supone que se selecciona un modelo antes de ver los datos. El análisis exploratorio de datos ha sido promovido por John Tukey desde 1970 para alentar a los estadísticos a explorar los datos y posiblemente formular hipótesis que podrían conducir a la recopilación de nuevos datos y experimentos. El AED es diferente del análisis inicial de datos (AID) , ^{[ 1 ] [ 2 ]} que se centra más específicamente en verificar los supuestos necesarios para el ajuste del modelo y la prueba de hipótesis, y en manejar los valores faltantes y realizar transformaciones de variables según sea necesario. El AED abarca el AID.

Tukey definió el análisis de datos en 1961 como: "Procedimientos para analizar datos, técnicas para interpretar los resultados de dichos procedimientos, formas de planificar la recopilación de datos para que su análisis sea más fácil, más preciso o más exacto, y toda la maquinaria y los resultados de la estadística (matemática) que se aplican al análisis de datos". ^{[ 3 ]}

El análisis exploratorio de datos es una técnica para analizar e investigar un conjunto de datos y resumir sus características principales. Una de las principales ventajas del análisis exploratorio de datos es que permite visualizar los datos tras realizar el análisis.

El impulso de Tukey hacia el análisis exploratorio de datos (EDA) fomentó el desarrollo de paquetes de computación estadística , especialmente S en Bell Labs . ^{[ 4 ]} El lenguaje de programación S inspiró los sistemas S-PLUS y R. Esta familia de entornos de computación estadística presentaba capacidades de visualización dinámica enormemente mejoradas, lo que permitía a los estadísticos identificar valores atípicos , tendencias y patrones en los datos que merecían un estudio más profundo.

El análisis exploratorio de datos (AED) de Tukey se relacionó con otros dos desarrollos en la teoría estadística : la estadística robusta y la estadística no paramétrica , ambas con el objetivo de reducir la sensibilidad de las inferencias estadísticas a los errores en la formulación de modelos estadísticos . Tukey promovió el uso de un resumen de cinco números para datos numéricos: los dos extremos ( máximo y mínimo ), la mediana y los cuartiles . Esto se debe a que la mediana y los cuartiles, al ser funciones de la distribución empírica , están definidos para todas las distribuciones, a diferencia de la media y la desviación estándar . Además, los cuartiles y la mediana son más robustos ante distribuciones asimétricas o con colas pesadas que los resúmenes tradicionales (la media y la desviación estándar). Los paquetes S , S-PLUS y R incluían rutinas que utilizaban estadísticas de remuestreo , como el jackknife de Quenouille y Tukey y el bootstrap de Efron , que son no paramétricos y robustos (para muchos problemas).

El análisis exploratorio de datos, la estadística robusta, la estadística no paramétrica y el desarrollo de lenguajes de programación estadística facilitaron el trabajo de los estadísticos en problemas científicos y de ingeniería. Dichos problemas incluían la fabricación de semiconductores y la comprensión de las redes de comunicaciones, ambos de interés para Bell Labs. Estos avances estadísticos, impulsados ​​por Tukey, se diseñaron para complementar la teoría analítica de la comprobación de hipótesis estadísticas , en particular el énfasis de la tradición laplaciana en las familias exponenciales . ^{[ 5 ]}

Además, existen argumentos para visualizar primero los datos durante el análisis exploratorio de datos (EDA) antes de realizar el modelado, con el fin de evitar conclusiones erróneas como en el caso del Cuarteto de Anscombe .

John W. Tukey escribió el libro Análisis exploratorio de datos en 1977. ^{[ 6 ]} Tukey sostenía que en estadística se hacía demasiado hincapié en la comprobación de hipótesis estadísticas (análisis confirmatorio de datos); era necesario hacer mayor hincapié en el uso de datos para sugerir hipótesis que comprobar. En particular, sostenía que confundir los dos tipos de análisis y emplearlos en el mismo conjunto de datos puede conducir a un sesgo sistemático debido a los problemas inherentes a la comprobación de hipótesis sugeridas por los datos .

Los objetivos de EDA son:

• Permitir descubrimientos inesperados en los datos.
• Sugiera hipótesis sobre las causas de los fenómenos observados.
• Evaluar los supuestos en los que se basará la inferencia estadística.
• Apoyar la selección de herramientas y técnicas estadísticas apropiadas.
• Proporcionar una base para la recopilación de datos adicionales mediante encuestas o experimentos ^{[ 7 ].}

Muchas técnicas de EDA se han adoptado en la minería de datos . También se están enseñando a estudiantes jóvenes como una forma de introducirlos al pensamiento estadístico. ^{[ 8 ]}

Existen varias herramientas útiles para el EDA, pero el EDA se caracteriza más por la actitud adoptada que por técnicas particulares. ^{[ 9 ]}

Las técnicas gráficas típicas utilizadas en el análisis exploratorio de datos (EDA) son:

• Diagrama de caja
• Histograma
• Gráfico multivariable
• Gráfico de ejecución
• Diagrama de Pareto
• Diagrama de dispersión (2D/3D)
• Diagrama de tallo y hojas
• Coordenadas paralelas
• Razón de probabilidades
• Búsqueda de proyección dirigida
• Mapa de calor
• Gráfico de barras
• Gráfico del horizonte
• Métodos de visualización basados ​​en glifos como PhenoPlot ^{[ 10 ]} y caras de Chernoff
• Métodos de proyección como gran recorrido, visita guiada y recorrido manual
• Versiones interactivas de estas tramas

Reducción de dimensionalidad :

• Escalamiento multidimensional
• Análisis de componentes principales (ACP)
• PCA multilineal
• Reducción de dimensionalidad no lineal (NLDR)
• Iconografía de correlaciones

Las técnicas cuantitativas típicas son:

• Pulido medio
• Trimean
• Ordenación

Muchas ideas sobre el análisis exploratorio de datos (EDA) se remontan a autores anteriores, por ejemplo:

• Francis Galton hizo hincapié en las estadísticas de orden y los cuantiles .
• Arthur Lyon Bowley utilizó precursores del diagrama de tallo y hojas y del resumen de cinco números (Bowley en realidad utilizó un " resumen de siete cifras ", que incluía los extremos, deciles y cuartiles , junto con la mediana ; véase su Manual elemental de estadística (3.ª ed., 1920), pág.  62 ^{[ 11 ]} ; define "el máximo y el mínimo, la mediana, los cuartiles y los dos deciles" como las "siete posiciones").
• Andrew Ehrenberg articuló una filosofía de reducción de datos (véase su libro del mismo nombre).

El curso de la Open University, Estadística en la Sociedad (MDST 242), tomó las ideas anteriores y las fusionó con el trabajo de Gottfried Noether , que introdujo la inferencia estadística mediante el lanzamiento de una moneda y la prueba de la mediana .

Los hallazgos del EDA son ortogonales a la tarea de análisis principal. Para ilustrarlo, consideremos un ejemplo de Cook et al. donde la tarea de análisis consiste en encontrar las variables que mejor predicen la propina que un grupo de comensales dará al camarero. ^{[ 12 ]} Las variables disponibles en los datos recopilados para esta tarea son: el monto de la propina, la factura total, el género del pagador, la sección de fumadores/no fumadores, la hora del día, el día de la semana y el tamaño del grupo. La tarea de análisis principal se aborda ajustando un modelo de regresión donde la tasa de propina es la variable de respuesta. El modelo ajustado es

( propina ) = 0,18 - 0,01 × (tamaño del grupo)

que dice que a medida que el tamaño del grupo de comensales aumenta en una persona (lo que conlleva una factura más alta), la tasa de propina disminuirá en un 1%, en promedio.

Sin embargo, al explorar los datos se descubren otras características interesantes que no están descritas en este modelo.

• 
  Histograma de cantidades de propinas donde los intervalos abarcan incrementos de $1. La distribución de valores está sesgada hacia la derecha y es unimodal, como suele ocurrir en distribuciones de cantidades pequeñas y no negativas.
• 
  Histograma de propinas con intervalos de $0.10. Se observa un fenómeno interesante: se producen picos en las propinas de dólares enteros y medios dólares, debido a que los clientes eligen números redondos. Este comportamiento también se observa en otros tipos de compras, como la gasolina.
• 
  Diagrama de dispersión de propinas frente a la cuenta. Los puntos por debajo de la línea corresponden a propinas inferiores a las esperadas (para ese importe de la cuenta), y los puntos por encima de la línea, a propinas superiores a las esperadas. Cabría esperar una relación lineal positiva y estrecha, pero en cambio observamos una variación que aumenta con el importe de la propina . En particular, hay más puntos alejados de la línea en la parte inferior derecha que en la superior izquierda, lo que indica que hay más clientes tacaños que generosos.
• 
  Gráfico de dispersión de propinas frente a facturas, separado por género del pagador y estado de la sección de fumadores. Las propinas que dan los fumadores son mucho más variables. Los hombres tienden a pagar las facturas más altas (que son pocas), y las mujeres no fumadoras tienden a dar propinas muy consistentes (con tres excepciones notables que se muestran en la muestra).

Lo que se aprende de los gráficos difiere de lo que ilustra el modelo de regresión, aunque el experimento no fue diseñado para investigar ninguna de estas otras tendencias. Los patrones encontrados al explorar los datos sugieren hipótesis sobre las propinas que tal vez no se anticiparon, y que podrían dar lugar a interesantes experimentos posteriores donde las hipótesis se formulen y se pongan a prueba mediante la recopilación de nuevos datos.

• JMP , un paquete EDA de SAS Institute .
• KNIME , Konstanz Information Miner: plataforma de exploración de datos de código abierto basada en Eclipse.
• Minitab , un paquete de software de análisis exploratorio de datos (EDA) y estadística general ampliamente utilizado en entornos industriales y corporativos.
• Orange , un conjunto de software de código abierto para minería de datos y aprendizaje automático .
• Python , un lenguaje de programación de código abierto ampliamente utilizado en la minería de datos y el aprendizaje automático.
• Matplotlib y Seaborn son las bibliotecas de Python que se utilizan actualmente para el análisis exploratorio de datos (EDA) y la representación gráfica/visualización de datos. (Punto actualizado: 2025)
• R , un lenguaje de programación de código abierto para computación estadística y gráficos. Junto con Python, es uno de los lenguajes más populares para la ciencia de datos.
• TinkerPlots es un software de diseño exploratorio de datos (EDA) para estudiantes de los últimos cursos de primaria y de secundaria.
• Weka es un paquete de minería de datos de código abierto que incluye herramientas de visualización y EDA, como la búsqueda de proyecciones dirigidas .

• El cuarteto de Anscombe , sobre la importancia de la exploración.
• Dragado de datos
• Análisis predictivo
• Análisis de datos estructurados (estadística)
• Análisis de frecuencia configuracional
• Estadísticas descriptivas

• Andrienko, N & Andrienko, G (2005) Análisis exploratorio de datos espaciales y temporales. Un enfoque sistemático . Springer. ISBN 3-540-25994-5
• Cook, D. y Swayne, DF (con A. Buja, D. Temple Lang, H. Hofmann, H. Wickham, M. Lawrence) (12 de diciembre de 2007). Gráficos interactivos y dinámicos para el análisis de datos: con R y GGobi . Springer. ISBN 978-0-387-71761-6.{{cite book}}: CS1 maint: varios nombres: lista de autores ( enlace )
• Cook, D. y Swayne, DF (con A. Buja, D. Temple Lang, H. Hofmann, H. Wickham, M. Lawrence) (12 de diciembre de 2007). Gráficos interactivos y dinámicos para el análisis de datos: con R y GGobi. Springer. ISBN 9780387717616.
• Hoaglin, DC; Mosteller, F y Tukey, John Wilder (Eds) (1985). Explorando tablas de datos, tendencias y formas. ISBN 978-0-471-09776-1.
• Hoaglin, DC; Mosteller, F y Tukey, John Wilder (Eds) (1983). Comprensión del análisis de datos robusto y exploratorio. ISBN 978-0-471-09777-8.
• Young, FW Valero-Mora, P. y Friendly M. (2006) Visual Statistics: Seeing your data with Dynamic Interactive Graphics. Wiley ISBN 978-0-471-68160-1 Jambu M. (1991) Exploratory and Multivariate Data Analysis. Academic Press ISBN 0123800900
• SHC DuToit, AGW Steyn, RH Stumpf (1986) Análisis gráfico exploratorio de datos. Springer ISBN 978-1-4612-9371-2
• Hoaglin, DC; Mosteller, F y Tukey, John Wilder (Eds) (1985). Explorando tablas de datos, tendencias y formas . Wiley. ISBN 978-0-471-09776-1.{{cite book}}: CS1 maint: varios nombres: lista de autores ( enlace )
• Hoaglin, DC; Mosteller, F y Tukey, John Wilder (Eds) (1983). Comprensión del análisis de datos robusto y exploratorio . Wiley. ISBN 978-0-471-09777-8.{{cite book}}: CS1 maint: varios nombres: lista de autores ( enlace )
• Inselberg, Alfred (2009). Coordenadas paralelas: Geometría multidimensional visual y sus aplicaciones . Londres Nueva York: Springer. ISBN 978-0-387-68628-8.
• Leinhardt, G., Leinhardt, S., Análisis exploratorio de datos: nuevas herramientas para el análisis de datos empíricos , Review of Research in Education, vol. 8, 1980 (1980), págs.  85–157.
• Martínez, WL ; Martínez, AR y Solka, J. (2010). Análisis exploratorio de datos con MATLAB, segunda edición . Chapman & Hall/CRC. ISBN 978-1-4398-1220-4.
• Theus, M., Urbanek, S. (2008), Gráficos interactivos para el análisis de datos: principios y ejemplos, CRC Press, Boca Raton, FL, ISBN 978-1-58488-594-8
• Tucker, L; MacCallum, R. (1993). Análisis factorial exploratorio .
• Tukey, John Wilder (1977). Análisis exploratorio de datos . Addison-Wesley. ISBN 978-0-201-07616-5.
• Velleman, PF; Hoaglin, DC (1981). Aplicaciones, fundamentos y computación del análisis exploratorio de datos . Duxbury Press. ISBN 978-0-87150-409-8.
• Young, FW Valero-Mora, P. y Friendly M. (2006) Visual Statistics: Seeing your data with Dynamic Interactive Graphics . Wiley ISBN 978-0-471-68160-1
• Jambu M. (1991) Análisis exploratorio y multivariado de datos . Academic Press ISBN 0123800900
• SHC DuToit, AGW Steyn, RH Stumpf (1986) Análisis gráfico exploratorio de datos . Springer ISBN 978-1-4612-9371-2

• Universidad Carnegie Mellon: curso online gratuito sobre Probabilidad y Estadística, con un módulo sobre Análisis Exploratorio de Datos (AED).
• • Capítulo sobre análisis exploratorio de datos: manual de estadística para ingeniería