Exploración de datos

La exploración de datos es un enfoque similar al análisis inicial de datos , en el que un analista de datos utiliza la exploración visual para comprender el contenido de un conjunto de datos y sus características, en lugar de utilizar sistemas de gestión de datos tradicionales. ^{[ 1 ]} Estas características pueden incluir el tamaño o la cantidad de datos, la integridad y la exactitud de los mismos, así como las posibles relaciones entre los elementos de datos o los archivos/tablas que los componen.

La exploración de datos se realiza típicamente mediante una combinación de actividades automatizadas y manuales. ^{[ 1 ]}^{[ 2 ]}^{[ 3 ]} Las actividades automatizadas pueden incluir el perfilado de datos , la visualización de datos o los informes tabulares para brindar al analista una visión inicial de los datos y una comprensión de las características clave. ^{[ 1 ]}

A menudo, esto va seguido de un análisis detallado o filtrado manual de los datos para identificar anomalías o patrones detectados mediante las acciones automatizadas. La exploración de datos también puede requerir la creación de scripts y consultas manuales (por ejemplo, utilizando lenguajes como SQL o R ) o el uso de hojas de cálculo o herramientas similares para visualizar los datos sin procesar . ^{[ 4 ]}

Todas estas actividades están dirigidas a crear un modelo mental y una comprensión de los datos en la mente del analista, y a definir metadatos básicos (estadísticas, estructura, relaciones) para el conjunto de datos que se pueden utilizar en análisis posteriores. ^{[ 1 ]}

Una vez que se comprende inicialmente el contenido de los datos, estos pueden depurarse o refinarse eliminando las partes inutilizables ( limpieza de datos ), corrigiendo los elementos con formato deficiente y definiendo las relaciones relevantes entre los conjuntos de datos. ^{[ 2 ]} Este proceso también se conoce como determinación de la calidad de los datos . ^{[ 4 ]}

La exploración de datos también puede referirse a la consulta o visualización ad hoc de datos para identificar posibles relaciones o perspectivas que puedan estar ocultas en los datos y no requiere formular suposiciones de antemano. ^{[ 1 ]}

Tradicionalmente, este había sido un área clave de interés para los estadísticos, siendo John Tukey un evangelista clave en este campo. ^{[ 5 ]} Hoy en día, la exploración de datos está más extendida y es el foco de los analistas y científicos de datos ; este último es un rol relativamente nuevo dentro de las empresas y las organizaciones más grandes.

Exploración interactiva de datos

Esta área de exploración de datos se ha convertido en un área de interés en el campo del aprendizaje automático . Este es un campo relativamente nuevo y aún está en evolución. ^{[ 4 ]} En su nivel más básico, un algoritmo de aprendizaje automático puede recibir un conjunto de datos y utilizarse para identificar si una hipótesis es verdadera basándose en dicho conjunto. Los algoritmos comunes de aprendizaje automático pueden centrarse en identificar patrones específicos en los datos. ^{[ 2 ]} Muchos patrones comunes incluyen regresión y clasificación o agrupamiento , pero existen muchos patrones y algoritmos posibles que pueden aplicarse a los datos mediante el aprendizaje automático.

Al emplear el aprendizaje automático, es posible encontrar patrones o relaciones en los datos que serían difíciles o imposibles de encontrar mediante la inspección manual, el ensayo y error o las técnicas de exploración tradicionales. ^{[ 6 ]}

Software

Trifacta : una plataforma de preparación y análisis de datos.
Paxata : software de preparación de datos de autoservicio
Alteryx : software para la combinación de datos y el análisis avanzado de datos.
Microsoft Power BI : herramienta interactiva de visualización y análisis de datos.
OpenRefine : una aplicación de escritorio independiente de código abierto para la limpieza y transformación de datos.
Software Tableau : software interactivo de visualización de datos.

Véase también

Referencias

1 2 3 4 5 FOSTER Open Science Archivado el 25/06/2023 en Wayback Machine , Descripción general de las técnicas de exploración de datos: Stratos Idreos, Olga Papaemmonouil, Surajit Chaudhuri.
1 2 3 Stanford.edu , 2011 Wrangler: Especificación visual interactiva de scripts de transformación de datos, Kandel, Paepcke, Hellerstein Heer.
↑ Arnab Nandi; HV Jagadish. Interacción guiada: repensando el paradigma consulta-resultado (PDF) . Conferencia internacional sobre bases de datos muy grandes (VLDB) 2011.
1 2 3 Stanford.edu , IEEE Visual Analytics Science & Technology (VAST), octubre de 2012 Análisis y visualización de datos empresariales: un estudio de entrevistas, Sean Kandel, Andreas Paepcke, Joseph Hellerstein, Jeffrey Heer Proc.
↑ Análisis exploratorio de datos , Pearson. ISBN 978-0201076165
↑ Aprendizaje automático para la exploración de datos

[Foster-1] 1 2 3 4 5 FOSTER Open Science Archivado el 25/06/2023 en Wayback Machine , Descripción general de las técnicas de exploración de datos: Stratos Idreos, Olga Papaemmonouil, Surajit Chaudhuri.

[Stanford2011-2] 1 2 3 Stanford.edu , 2011 Wrangler: Especificación visual interactiva de scripts de transformación de datos, Kandel, Paepcke, Hellerstein Heer.

[3] Arnab Nandi; HV Jagadish. Interacción guiada: repensando el paradigma consulta-resultado (PDF) . Conferencia internacional sobre bases de datos muy grandes (VLDB) 2011.

[Stanford2012-4] 1 2 3 Stanford.edu , IEEE Visual Analytics Science & Technology (VAST), octubre de 2012 Análisis y visualización de datos empresariales: un estudio de entrevistas, Sean Kandel, Andreas Paepcke, Joseph Hellerstein, Jeffrey Heer Proc.

[Tukey,_John_W.-5] Análisis exploratorio de datos , Pearson. ISBN 978-0201076165

[6] Aprendizaje automático para la exploración de datos

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]