Perfilado de datos

El perfilado de datos es el proceso de examinar los datos disponibles de una fuente de información existente (por ejemplo, una base de datos o un archivo ) y recopilar estadísticas o resúmenes informativos sobre esos datos. ^{[ 1 ]} El propósito de estas estadísticas puede ser:

1. Averigüe si los datos existentes se pueden utilizar fácilmente para otros fines.
2. Mejora la capacidad de búsqueda de datos etiquetándolos con palabras clave , descripciones o asignándolos a una categoría.
3. Evaluar la calidad de los datos , incluyendo si los datos se ajustan a estándares o patrones particulares ^{[ 2 ].}
4. Evaluar el riesgo que implica la integración de datos en nuevas aplicaciones, incluidos los desafíos de las uniones.
5. Descubra los metadatos de la base de datos de origen, incluidos los patrones y distribuciones de valores , los candidatos a clave , los candidatos a clave externa y las dependencias funcionales.
6. Evaluar si los metadatos conocidos describen con precisión los valores reales en la base de datos de origen.
7. Es fundamental comprender los desafíos relacionados con los datos desde el inicio de cualquier proyecto que requiera un uso intensivo de datos, para así evitar sorpresas en etapas avanzadas. Detectar problemas de datos en una fase tardía del proyecto puede ocasionar retrasos y sobrecostos.
8. Disponer de una visión integral de todos los datos a nivel empresarial, para usos como la gestión de datos maestros , donde se necesitan datos clave, o la gobernanza de datos para mejorar la calidad de los mismos.

El perfilado de datos se refiere al análisis de la información para su uso en un almacén de datos con el fin de clarificar la estructura, el contenido, las relaciones y las reglas de derivación de los datos. ^{[ 3 ]} El perfilado ayuda no solo a comprender las anomalías y evaluar la calidad de los datos, sino también a descubrir, registrar y evaluar los metadatos empresariales. ^{[ 4 ] [ 5 ]} El resultado del análisis se utiliza para determinar la idoneidad de los sistemas de origen candidatos, proporcionando generalmente la base para una decisión temprana de continuar o no, y también para identificar problemas para el diseño posterior de la solución. ^{[ 3 ]}

Data profiling utilizes methods of descriptive statistics such as minimum, maximum, mean, mode, percentile, standard deviation, frequency, variation, aggregates such as count and sum, and additional metadata information obtained during data profiling such as data type, length, discrete values, uniqueness, occurrence of null values, typical string patterns, and abstract type recognition.^[4][6][7] The metadata can then be used to discover problems such as illegal values, misspellings, missing values, varying value representation, and duplicates.

Different analyses are performed for different structural levels. E.g. single columns could be profiled individually to get an understanding of frequency distribution of different values, type, and use of each column. Embedded value dependencies can be exposed in a cross-columns analysis. Finally, overlapping value sets possibly representing foreign key relationships between entities can be explored in an inter-table analysis.^[4]

Normally, purpose-built tools are used for data profiling to ease the process.^{[3][4][6][7][8][9]} The computational complexity increases when going from single column, to single table, to cross-table structural profiling. Therefore, performance is an evaluation criterion for profiling tools.^[5]

According to Kimball,^[3] data profiling is performed several times and with varying intensity throughout the data warehouse developing process. A light profiling assessment should be undertaken immediately after candidate source systems have been identified and DW/BI business requirements have been satisfied. The purpose of this initial analysis is to clarify at an early stage if the correct data is available at the appropriate detail level and that anomalies can be handled subsequently. If this is not the case the project may be terminated.^[3]

Additionally, more in-depth profiling is done prior to the dimensional modeling process in order assess what is required to convert data into a dimensional model. Detailed profiling extends into the ETL system design process in order to determine the appropriate data to extract and which filters to apply to the data set.^[3]

Additionally, data profiling may be conducted in the data warehouse development process after data has been loaded into staging, the data marts, etc. Conducting data at these stages helps ensure that data cleaning and transformations have been done correctly and in compliance of requirements.

Data profiling can improve data quality, shorten the implementation cycle of major projects, and improve users' understanding of data.^[9] Discovering business knowledge embedded in data itself is one of the significant benefits derived from data profiling.^[5] It can improve data accuracy in corporate databases.^[9]

• Data quality
• Data governance
• Master data management
• Database normalization
• Data visualization
• Analysis paralysis
• Data analysis