Mapeo de datos

En informática y gestión de datos , el mapeo de datos es el proceso de crear asignaciones de elementos de datos entre dos modelos de datos distintos . El mapeo de datos se utiliza como primer paso para una amplia variedad de tareas de integración de datos , entre las que se incluyen: ^{[ 1 ]}

• Transformación de datos o mediación de datos entre una fuente de datos y un destino.
• Identificación de relaciones de datos como parte del análisis de linaje de datos .
• Descubrimiento de datos sensibles ocultos, como los últimos cuatro dígitos de un número de seguridad social ocultos en otro identificador de usuario como parte de un proyecto de enmascaramiento o anonimización de datos.
• Consolidación de múltiples bases de datos en una sola base de datos e identificación de columnas de datos redundantes para su consolidación o eliminación.

Por ejemplo, una empresa que desee transmitir y recibir compras y facturas con otras empresas podría utilizar la asignación de datos para crear mapas de datos a partir de los datos de una empresa y convertirlos a mensajes estandarizados ANSI ASC X12 para elementos como pedidos de compra y facturas.

Los procesos modernos de mapeo de datos utilizan cada vez más técnicas de inteligencia artificial (IA) y aprendizaje automático (ML) para automatizar y optimizar estas tareas. ^{[ 2 ]}

Los estándares X12 son estándares genéricos de Intercambio Electrónico de Datos (EDI) diseñados para permitir que una empresa intercambie datos con cualquier otra, independientemente del sector. Estos estándares son mantenidos por el Comité de Estándares Acreditados X12 (ASC X12), y el Instituto Nacional Estadounidense de Estándares (ANSI) está acreditado para establecer estándares de EDI. Los estándares X12 suelen denominarse estándares ANSI ASC X12 .

El W3C introdujo R2RML como estándar para mapear datos de una base de datos relacional a datos expresados ​​en términos del Marco de Descripción de Recursos (RDF).

En el futuro, las herramientas basadas en lenguajes de la web semántica como RDF, el Lenguaje de Ontología Web (OWL) y los registros de metadatos estandarizados automatizarán el mapeo de datos. Este proceso se acelerará si cada aplicación publica sus metadatos . El mapeo de datos totalmente automatizado es un problema muy complejo (véase traducción semántica ).

Las asignaciones de datos se pueden realizar de diversas maneras: mediante código procedimental, transformaciones XSLT o herramientas gráficas que generan automáticamente programas de transformación ejecutables. Estas herramientas permiten trazar líneas que conectan campos de un conjunto de datos con campos de otro. Algunas permiten la conexión automática entre un origen y un destino, siempre que el nombre del elemento de datos de origen y destino sea el mismo. Los programas de transformación se crean automáticamente en SQL, XSLT, Java o C++ . Este tipo de herramientas gráficas se encuentran en la mayoría de las herramientas ETL (extracción, transformación y carga) como principal medio para introducir asignaciones de datos y facilitar el movimiento de datos. Algunos ejemplos son SAP BODS e Informatica PowerCenter.

Este es el enfoque más novedoso en mapeo de datos y consiste en evaluar simultáneamente los valores de datos reales en dos fuentes de datos mediante heurísticas y estadísticas para descubrir automáticamente mapeos complejos entre dos conjuntos de datos. Este enfoque se utiliza para encontrar transformaciones entre dos conjuntos de datos, descubriendo subcadenas, concatenaciones, operaciones aritméticas , sentencias condicionales y otros tipos de lógica de transformación. Este enfoque también descubre excepciones de datos que no siguen la lógica de transformación descubierta.

El mapeo semántico es similar a la función de conexión automática de los mapeadores de datos, con la diferencia de que se puede consultar un registro de metadatos para buscar sinónimos de elementos de datos. Por ejemplo, si el sistema de origen enumera FirstName , pero el destino enumera PersonGivenName , los mapeos se realizarán igualmente si estos elementos de datos figuran como sinónimos en el registro de metadatos. El mapeo semántico solo puede detectar coincidencias exactas entre columnas de datos y no detectará ninguna lógica de transformación ni excepciones entre columnas.

El linaje de datos es un registro del ciclo de vida de cada dato a medida que el sistema analítico lo ingiere, procesa y genera. Esto proporciona visibilidad del flujo de análisis y simplifica la identificación de errores hasta su origen. También permite reproducir porciones o entradas específicas del flujo de datos para la depuración paso a paso o la regeneración de resultados perdidos. De hecho, los sistemas de bases de datos ya utilizan esta información, denominada procedencia de datos, para abordar desafíos similares de validación y depuración. ^{[ 3 ]}

• Integración de datos
• Manipulación de datos
• Transformación de identidad
• ISO/IEC 11179 - El estándar de registro de metadatos ISO/IEC
• Metadatos
• Publicación de metadatos
• Coincidencia de esquemas
• Heterogeneidad semántica
• mapeador semántico
• Traducción semántica
• web semántica
• Semántica
• XSLT - Lenguaje de transformación XML