Extracción de datos

La extracción de datos es el acto o proceso de recuperar datos de fuentes de datos (generalmente no estructuradas o mal estructuradas) para su posterior procesamiento o almacenamiento ( migración de datos ). La importación al sistema de extracción intermedio suele ir seguida de la transformación de datos y, posiblemente, de la adición de metadatos antes de la exportación a otra etapa del flujo de trabajo de datos .

Por lo general, el término extracción de datos se aplica cuando los datos ( experimentales ) se importan por primera vez a una computadora desde fuentes primarias, como dispositivos de medición o registro . Los dispositivos electrónicos actuales suelen tener un conector eléctrico (por ejemplo, USB ) a través del cual se pueden transmitir datos sin procesar a una computadora personal .

Las fuentes típicas de datos no estructurados incluyen páginas web , correos electrónicos , documentos, archivos PDF , redes sociales, texto escaneado, informes de sistemas centrales, archivos de impresión, archivos multimedia, etc. La extracción de datos de estas fuentes no estructuradas se ha convertido en un desafío técnico considerable. Si bien históricamente la extracción de datos se ha visto afectada por cambios en los formatos de hardware físico, la mayor parte de la extracción actual se centra en extraer datos de estas fuentes no estructuradas y de diferentes formatos de software. Este proceso creciente de extracción de datos de la web se conoce como "extracción de datos web" o " web scraping ".

El acto de añadir estructura a datos no estructurados adopta diversas formas.

• Utilizar la coincidencia de patrones de texto, como expresiones regulares , para identificar estructuras a pequeña o gran escala, por ejemplo, registros en un informe y sus datos asociados a partir de encabezados y pies de página;
• Utilizar un enfoque basado en tablas para identificar secciones comunes dentro de un dominio limitado, por ejemplo, en currículos enviados por correo electrónico, identificando habilidades, experiencia laboral previa, cualificaciones, etc., utilizando un conjunto estándar de encabezados de uso común (estos variarían de un idioma a otro), por ejemplo, Educación podría encontrarse en Educación/Cualificaciones/Cursos;
• Utilizar análisis de texto para intentar comprender el texto y vincularlo con otra información.
• Utilizar herramientas de extracción de datos de documentos basadas en aprendizaje automático para convertir contenido no estructurado (como PDF, facturas y contratos) en datos estructurados y legibles por máquina. ^{[ 1 ]}

• Minería de datos , descubrimiento de patrones en grandes conjuntos de datos utilizando estadísticas, conocimiento de bases de datos o aprendizaje automático.
• Recuperación de datos , obtención de datos de un sistema de gestión de bases de datos, a menudo mediante una consulta con un conjunto de criterios.
• Extracción, transformación y carga (ETL), procedimiento para copiar datos de una o más fuentes, transformar los datos en el sistema de origen y copiarlos en un sistema de destino.
• Extracción de información , extracción automatizada de información estructurada a partir de datos no estructurados o semiestructurados legibles por máquina, ^{[ 2 ]} por ejemplo, utilizando el procesamiento del lenguaje natural para extraer contenido de imágenes, audio o documentos.