Control de versiones de datos

El control de versiones de datos es un método para trabajar con conjuntos de datos . Es similar a los sistemas de control de versiones utilizados en el desarrollo de software tradicional, pero está optimizado para permitir un mejor procesamiento de los datos y la colaboración en el contexto del análisis de datos, la investigación y cualquier otra forma de análisis de datos. El control de versiones de datos también puede incluir características y configuraciones específicas diseñadas para facilitar el trabajo con grandes conjuntos de datos y lagos de datos . ^[1]

Ya en 1985, los investigadores reconocieron la necesidad de definir atributos de tiempo en las tablas de bases de datos, lo que sería necesario para rastrear los cambios en las bases de datos . ^[2] Esta investigación continuó hasta la década de 1990, y la teoría se formalizó en métodos prácticos para administrar datos en bases de datos relacionales , ^[3] proporcionando algunos de los conceptos fundamentales para lo que luego se convertiría en el control de versiones de datos.

A principios de la década de 2010, el tamaño de los conjuntos de datos se expandió rápidamente y las bases de datos relacionales ya no eran suficientes para administrar las cantidades de datos que acumulaban las organizaciones. El auge del ecosistema Apache Hadoop, con HDFS como capa de almacenamiento y, más tarde, el almacenamiento de objetos, se había vuelto dominante en las operaciones de big data. ^[4] La investigación sobre herramientas de gestión de datos y sistemas de control de versiones de datos aumentó drásticamente, junto con la demanda de dichas herramientas tanto del ámbito académico como de los sectores privado y público. ^[5]

La primera base de datos versionada se propuso en 2012 para la base de datos SciDB y demostró que era posible crear cadenas y árboles de diferentes versiones de la base de datos mientras se reducía tanto el tamaño de almacenamiento general como las velocidades de acceso asociadas con los métodos anteriores. ^[6] En 2014, se hizo una propuesta para generalizar estos principios en una plataforma que pudiera usarse para cualquier aplicación. ^[7]

En 2016, durante una competición de Kaggle se desarrolló un prototipo de sistema de control de versiones de datos . Posteriormente, este software se utilizó internamente en una empresa de inteligencia artificial y, finalmente, se convirtió en una empresa emergente . ^[8] Desde entonces, se han desarrollado y ofrecido comercialmente varios sistemas de control de versiones de datos, tanto de código abierto como cerrado , ^[9] con un subconjunto dedicado específicamente al aprendizaje automático. ^[10]

Una amplia gama de disciplinas científicas han adoptado el análisis automatizado de grandes cantidades de datos, incluidas la astrofísica , la sismología , la biología y la medicina , las ciencias sociales y la economía , y muchos otros campos. El principio de reproducibilidad es un aspecto importante de la formalización de los hallazgos en las disciplinas científicas y, en el contexto de la ciencia de datos, presenta una serie de desafíos. La mayoría de los conjuntos de datos cambian constantemente, ya sea debido a la adición de más datos o cambios en la estructura y el formato de los datos, y pequeños cambios pueden tener efectos significativos en el resultado de los experimentos. El control de versiones de datos permite registrar el estado exacto de los conjuntos de datos en un momento particular, lo que facilita la reproducción y la comprensión de los resultados experimentales. ^[11] Si los profesionales de datos solo pueden conocer el estado actual de los datos, pueden encontrarse con una serie de desafíos, como dificultades en la depuración de problemas o el cumplimiento de las auditorías de datos .

El control de versiones de datos se utiliza a veces en las pruebas y el desarrollo de aplicaciones que interactúan con grandes cantidades de datos. Algunas herramientas de control de versiones de datos permiten a los usuarios crear réplicas de su entorno de producción para fines de prueba. Este enfoque les permite probar procesos de integración de datos como extracción, transformación y carga ( ETL ) y comprender los cambios realizados en los datos sin tener un impacto negativo en los consumidores de los datos de producción.

En el contexto del aprendizaje automático , el control de versiones de datos se puede utilizar para optimizar el rendimiento de los modelos. Puede permitir automatizar el proceso de análisis de resultados con diferentes versiones de un conjunto de datos para mejorar continuamente el rendimiento. ^[12] Es posible que el software de control de versiones de datos de código abierto pueda eliminar la necesidad de plataformas de IA propietarias al extender herramientas como Git y CI/CD para que las utilicen los ingenieros de aprendizaje automático. ^[13] Muchas soluciones de código abierto se basan en semánticas similares a Git para proporcionar estas capacidades, ya que Git en sí fue diseñado para archivos de texto pequeños y no admite conjuntos de datos de aprendizaje automático típicos, que son muy grandes.

Las metodologías de CI/CD se pueden aplicar a conjuntos de datos mediante el control de versiones de datos. ^[14] El control de versiones permite a los usuarios integrarse con servidores de automatización que permiten establecer un proceso de CI/CD para los datos. Al agregar plataformas de prueba al proceso, pueden garantizar una alta calidad del producto de datos. En este escenario, los equipos ejecutan pruebas de integración continua (CI) en los datos y establecen controles para garantizar que los datos se promuevan a producción solo cuando se cumplan todos los criterios de calidad y gobernanza de datos establecidos .

Para experimentar con un conjunto de datos sin afectar los datos de producción, se puede utilizar el control de versiones de datos para crear réplicas del entorno de producción donde se pueden realizar pruebas. Dichas réplicas permiten probar y comprender los cambios aplicados a los datos de forma segura.

Las herramientas de control de versiones de datos permiten entornos de replicación sin necesidad de mantenimiento que consume tiempo y recursos. En cambio, estas herramientas permiten compartir objetos mediante metadatos.

Los cambios continuos en los conjuntos de datos pueden causar problemas de funcionalidad o generar resultados no deseados, especialmente cuando las aplicaciones utilizan los datos. Las herramientas de control de versiones de datos permiten la posibilidad de revertir un conjunto de datos a un estado anterior. Esto se puede utilizar para restaurar o mejorar la funcionalidad de una aplicación o para corregir errores o datos incorrectos que se hayan incluido por error. ^[15]

Fuentes de datos controladas por versiones:

• Kaggle ^[16]
• Edredón ^[17]
• Tonto ^[18]
• Camo ^[19]

Control de versiones de datos para lagos de datos:

• Lago FS ^[20]
• Proyecto Nessie ^[21]
• Git-LFS ^[22]

Sistemas ML-Ops que implementan el control de versiones de datos:

• DVC ^[23]
• Paquidermo ^[24]
• Neptuno ^[25]
• bucle activo ^[26]
• gravedad ^[27]
• centro de datos ^[28]
• alectio ^[29]
• Galileo ^[30]
• Voxel51 ^[31]
• pila d ^[32]
• DVD ^[33]