Preparación de datos

La preparación de datos es el acto de manipular (o preprocesar) datos brutos (que pueden provenir de diversas fuentes de datos) en un formato que pueda analizarse de manera fácil y precisa, por ejemplo, con fines comerciales. ^{[ 1 ]}

La preparación de datos es el primer paso en los proyectos de análisis de datos y puede incluir muchas tareas discretas como la carga o ingesta de datos , la fusión de datos , la limpieza de datos , el aumento de datos y la entrega de datos . ^{[ 2 ]}

Los temas a tratar se dividen en dos categorías principales:

• errores sistemáticos que involucran una gran cantidad de registros de datos, probablemente porque provienen de diferentes fuentes;
• Errores puntuales que afectan a un número reducido de registros de datos, probablemente debido a errores en la introducción original de los datos.

El primer paso consiste en establecer una especificación completa y detallada del formato de cada campo de datos y el significado de las entradas. Esto debe tener en cuenta cuidadosamente lo siguiente:

• Lo más importante es la consulta con los usuarios de los datos.
• cualquier especificación disponible del sistema que utilizará los datos para realizar el análisis
• una comprensión completa de la información disponible, y de cualquier laguna, en los datos de origen.

Véase también la especificación de definición de datos .

Supongamos que existe un campo alfabético de dos caracteres que indica la ubicación geográfica. Es posible que en una fuente de datos el código "EE" signifique "Europa" y en otra fuente el mismo código signifique "Estonia". Sería necesario diseñar un conjunto de códigos inequívoco y modificar el código en un conjunto de registros según corresponda.

Además, el término "área geográfica" puede referirse a, por ejemplo, la dirección de entrega, la dirección de facturación, la dirección desde la que se suministran los bienes, la moneda de facturación o la normativa nacional aplicable. Todos estos aspectos deben estar contemplados en las especificaciones.

Es posible que existan registros con "X" o "555" en ese campo. Claramente, se trata de datos no válidos, ya que no cumplen con la especificación. Si solo hay un número reducido de estos registros, se podrían corregir manualmente o, si la precisión no es crucial, simplemente eliminarlos del archivo. Otra posibilidad sería crear una categoría de "desconocido".

• Los números de teléfono tienen el formato correcto y los valores correspondientes al territorio indicado en el campo de ubicación geográfica. El código de país puede aparecer en algunos registros y no en otros: debe eliminarse o insertarse (según la ubicación geográfica) en función de las especificaciones de los datos. Asimismo, los formatos de las fechas y las unidades de medida (pesos, longitudes) pueden ser inconsistentes.
• En algunos casos, los datos faltantes deben obtenerse de fuentes externas (por ejemplo, encontrar el código postal de una dirección a través de una fuente de datos externa).
• Los datos deben ser coherentes entre registros de datos diferentes pero relacionados (por ejemplo, una misma persona podría tener fechas de nacimiento diferentes en registros o conjuntos de datos distintos).

Siempre que sea posible y económico, los datos deben verificarse con una fuente autorizada (por ejemplo, la información comercial se coteja con una base de datos de D&B para garantizar su exactitud). ^{[ 3 ] [ 4 ]}

Dada la variedad de fuentes de datos (por ejemplo, bases de datos , aplicaciones empresariales ) y los formatos en que pueden llegar, la preparación de datos puede ser bastante compleja. Existen numerosas herramientas y tecnologías ^{[ 5 ]} que se utilizan para la preparación de datos. El coste de la limpieza de datos siempre debe sopesarse frente al valor de la mejora en la precisión.

Las herramientas y tecnologías tradicionales, como los lenguajes de scripting o las herramientas de extracción, transformación y carga (ETL) y de calidad de datos, no están diseñadas para usuarios empresariales. Por lo general, requieren conocimientos de programación o de informática que la mayoría de los usuarios empresariales no poseen.

Varias empresas, como Paxata , Trifacta , Alteryx , Talend y Ataccama, ofrecen interfaces visuales que muestran los datos y permiten al usuario explorar, estructurar, limpiar, ampliar y actualizar directamente los datos de muestra proporcionados por el usuario.

Una vez finalizado el trabajo de preparación, los pasos subyacentes pueden aplicarse a otros conjuntos de datos para realizar las mismas operaciones. Esta reutilización supone un aumento significativo de la productividad en comparación con los métodos manuales y de codificación manual más tradicionales para la preparación de datos.

• Edición de datos , corrección de errores en un corpus de datos.
• El preprocesamiento de datos es un paso de limpieza de datos en la minería de datos con fines de análisis.
• La minería de datos encuentra patrones e información valiosa dentro de los conjuntos de datos.
• Transmisión de datos