Virtualización de datos

La virtualización de datos es un enfoque para la gestión de datos que permite a una aplicación recuperar y manipular datos sin necesidad de conocer detalles técnicos sobre los mismos, como su formato de origen o su ubicación física, ^{[ 1 ]} y puede proporcionar una única vista del cliente (o una única vista de cualquier otra entidad) de todos los datos. ^{[ 2 ]}

A diferencia del proceso tradicional de extracción, transformación y carga ("ETL"), los datos permanecen en su lugar y se proporciona acceso en tiempo real al sistema de origen para los datos. Esto reduce el riesgo de errores de datos, de la carga de trabajo que mueve datos que quizás nunca se utilicen, y no intenta imponer un único modelo de datos a los datos (un ejemplo de datos heterogéneos es un sistema de base de datos federada ). La tecnología también admite la escritura de actualizaciones de datos de transacciones de vuelta a los sistemas de origen. ^{[ 3 ]} Para resolver las diferencias en los formatos y la semántica de origen y consumidor, se utilizan varias técnicas de abstracción y transformación. Este concepto y software es un subconjunto de la integración de datos y se utiliza comúnmente en inteligencia empresarial , servicios de datos de arquitectura orientada a servicios , computación en la nube , búsqueda empresarial y gestión de datos maestros .

La característica principal de la virtualización de datos es que los datos utilizados permanecen en sus ubicaciones originales y se establece un acceso en tiempo real para permitir el análisis a través de múltiples fuentes. Esto ayuda a resolver algunas dificultades técnicas, como problemas de compatibilidad al combinar datos de diversas plataformas, reduce el riesgo de errores causados ​​por datos defectuosos y garantiza el uso de los datos más recientes. Además, evitar la creación de una nueva base de datos con información personal facilita el cumplimiento de las normativas de privacidad. En consecuencia, la virtualización de datos crea nuevas posibilidades para el uso de los datos. ^{[ 4 ]}

Partiendo de esto, el verdadero valor de la virtualización de datos, especialmente para los usuarios, reside en su enfoque declarativo. A diferencia de los métodos tradicionales de integración de datos, que requieren especificar cada paso, este enfoque es menos propenso a errores y más eficiente. Los métodos tradicionales son tediosos, sobre todo al adaptarse a requisitos cambiantes, que implican modificaciones en múltiples etapas. La virtualización de datos, en cambio, permite a los usuarios simplemente describir el resultado deseado. El software genera automáticamente los pasos necesarios para lograrlo. Si el resultado deseado cambia, basta con actualizar la descripción y el software ajusta los pasos intermedios en consecuencia. Esta flexibilidad puede acelerar los procesos hasta cinco veces, lo que subraya la principal ventaja de la virtualización de datos. ^{[ 5 ]}

Sin embargo, con la virtualización de datos, la conexión a todas las fuentes de datos necesarias debe estar operativa, ya que no existe una copia local de los datos, lo cual es uno de los principales inconvenientes de este enfoque. Los problemas de conexión ocurren con mayor frecuencia en sistemas complejos donde una o más fuentes cruciales pueden no estar disponibles ocasionalmente. El almacenamiento en búfer inteligente de datos, como mantener los datos de las solicitudes más recientes en el búfer del sistema de virtualización, puede ayudar a mitigar este problema. ^{[ 4 ]}

Además, dado que las soluciones de virtualización de datos pueden utilizar un gran número de conexiones de red para leer los datos originales y servir tablas virtualizadas a otras soluciones a través de la red, la seguridad del sistema requiere mayor atención que en el caso de los lagos de datos tradicionales. En un sistema de lago de datos convencional, los datos se pueden importar al lago siguiendo procedimientos específicos en un único entorno. Al utilizar un sistema de virtualización, el entorno debe establecer conexiones seguras por separado con cada fuente de datos, que normalmente se encuentra en un entorno diferente al del propio sistema de virtualización. ^{[ 4 ]}

La seguridad de los datos personales y el cumplimiento de las normativas pueden ser un problema importante al introducir nuevos servicios o al intentar combinar diversas fuentes de datos. Cuando se entregan datos para su análisis, la virtualización de datos puede ayudar a resolver problemas relacionados con la privacidad. La virtualización permite combinar datos personales de diferentes fuentes sin copiarlos físicamente a otra ubicación, limitando además la visualización a todas las demás variables recopiladas. Sin embargo, la virtualización no elimina la necesidad de confirmar la seguridad y la privacidad de los resultados del análisis antes de hacerlos más accesibles. Independientemente del método de integración de datos elegido, todos los resultados basados ​​en datos personales deben protegerse con los requisitos de privacidad adecuados. ^{[ 4 ]}

Algunos entornos empresariales están repletos de fuentes de datos dispares, incluyendo múltiples almacenes de datos , data marts y/o data lakes , a pesar de que un almacén de datos, si se implementa correctamente, debería ser único y constituir una única fuente de verdad . La virtualización de datos permite conectar eficientemente los datos entre almacenes de datos, data marts y data lakes sin necesidad de crear una plataforma de datos física integrada completamente nueva. La infraestructura de datos existente puede seguir desempeñando sus funciones principales, mientras que la capa de virtualización de datos simplemente aprovecha los datos de dichas fuentes. Este aspecto de la virtualización de datos la convierte en un complemento para todas las fuentes de datos existentes y aumenta la disponibilidad y el uso de los datos empresariales.

La virtualización de datos también puede considerarse una alternativa a ETL y al almacenamiento de datos, pero por cuestiones de rendimiento no se recomienda para almacenes de datos muy grandes. La virtualización de datos está orientada a generar información rápida y oportuna a partir de múltiples fuentes sin necesidad de emprender un proyecto de datos complejo con ETL y almacenamiento extensos. Sin embargo, la virtualización de datos puede ampliarse y adaptarse para satisfacer también los requisitos de almacenamiento de datos. Esto requiere comprender los requisitos de almacenamiento e historial de datos, así como planificar y diseñar estrategias adecuadas de virtualización, integración y almacenamiento de datos, y optimizaciones de infraestructura y rendimiento (por ejemplo, streaming, almacenamiento en memoria, almacenamiento híbrido).

• Phone House —nombre comercial de las operaciones europeas de la cadena minorista de telefonía móvil británica Carphone Warehouse— implementó la tecnología de virtualización de datos de Denodo entre los sistemas transaccionales de su filial española y los sistemas basados ​​en la web de los operadores móviles. ^{[ 3 ]}
• Novartis implementó la herramienta de virtualización de datos de TIBCO para permitir a sus investigadores combinar rápidamente datos de fuentes internas y externas en un almacén de datos virtual con capacidad de búsqueda . ^{[ 3 ]}
• Primary Data, una plataforma de virtualización de datos independiente del almacenamiento (ya desaparecida y reencarnada como Hammerspace), permitía a las aplicaciones, servidores y clientes acceder de forma transparente a los datos mientras se migraban entre almacenamiento en la nube de conexión directa, conexión a la red, privada y pública. ^{[ 6 ]}
• Los datos vinculados pueden usar un único nombre de origen de datos ( DSN ) basado en hipervínculos para proporcionar una conexión a una capa de base de datos virtual que está conectada internamente a una variedad de fuentes de datos de back-end mediante ODBC , JDBC , OLE DB , ADO.NET , servicios de estilo SOA y/o patrones REST .
• La virtualización de bases de datos puede utilizar un único DSN basado en ODBC para proporcionar una conexión a una capa de base de datos virtual similar.
• Alluxio , un sistema de archivos distribuido virtual (VDFS) de código abierto , se originó en el AMPLab de la Universidad de California, Berkeley . El sistema abstrae datos de varios sistemas de archivos y almacenes de objetos.

El software de virtualización de datos proporciona algunas o todas las siguientes capacidades: ^{[ 7 ]}

• Abstracción: Abstraer los aspectos técnicos de los datos almacenados, como la ubicación, la estructura de almacenamiento, la API, el lenguaje de acceso y la tecnología de almacenamiento.
• Acceso virtualizado a datos: conéctese a diferentes fuentes de datos y hágalas accesibles desde un punto de acceso lógico común.
• Transformación de datos : Transformar, mejorar la calidad, reformatear, agregar, etc., los datos de origen para uso del consumidor.
• Federación de datos : combine conjuntos de resultados de múltiples sistemas de origen.
• Entrega de datos: publique conjuntos de resultados como vistas y/o servicios de datos ejecutados por la aplicación cliente o los usuarios cuando se les solicite.

El software de virtualización de datos puede incluir funciones para el desarrollo, la operación y/o la gestión.

Un motor de metadatos recopila, almacena y analiza información sobre datos y metadatos (datos sobre datos) en uso dentro de un dominio. ^{[ 8 ]}

Los beneficios incluyen:

• Reduzca el riesgo de errores de datos
• Reduzca la carga de trabajo del sistema evitando mover datos.
• Aumentar la velocidad de acceso a los datos en tiempo real.
• Permite que el procesamiento de consultas se traslade a la fuente de datos en lugar de a la capa intermedia.
• La mayoría de los sistemas permiten la creación de bases de datos virtuales por parte de usuarios finales con acceso a los sistemas fuente, de forma autónoma.
• Aumentar la gobernanza y reducir el riesgo mediante el uso de políticas ^{[ 9 ]}
• Reducir el almacenamiento de datos necesario ^{[ 10 ]}
• Acelere los procesos hasta cinco veces mediante el enfoque declarativo ^{[ 5 ].}

Entre sus desventajas se incluyen:

• Puede afectar el tiempo de respuesta de los sistemas operativos, especialmente si no están suficientemente escalados para hacer frente a consultas de usuarios imprevistas o si no se ajustan desde el principio. ^{[ 11 ]}
• No impone un modelo de datos heterogéneo, lo que significa que el usuario tiene que interpretar los datos, a menos que se combine con la Federación de Datos y la comprensión empresarial de los datos ^{[ 12 ].}
• Requiere un enfoque de gobernanza definido para evitar problemas presupuestarios con los servicios compartidos.
• No es adecuado para registrar instantáneas históricas de datos. Un almacén de datos es mejor para esto ^{[ 12 ].}
• La gestión de cambios "es una carga enorme, ya que cualquier cambio debe ser aceptado por todas las aplicaciones y usuarios que comparten el mismo kit de virtualización" ^{[ 12 ].}
• Los diseñadores siempre deben tener en cuenta las consideraciones de rendimiento.

Evite su uso:

• Para acceder a los sistemas de datos operativos (problemas de rendimiento e integridad operativa)
• Para federar o centralizar todos los datos de la organización (Problemas de seguridad y piratería informática)
• Para la creación de almacenes de datos virtuales muy grandes (problemas de rendimiento)
• Como proceso ETL (Problemas de gobernanza y rendimiento)
• Si solo tiene una o dos fuentes de datos para virtualizar

La integración de información empresarial (EII, por sus siglas en inglés) (término acuñado por primera vez por Metamatrix), ahora conocida como Red Hat JBoss Data Virtualization, y los sistemas de bases de datos federadas son términos utilizados por algunos proveedores para describir un elemento central de la virtualización de datos: la capacidad de crear uniones relacionales en una vista federada.

Algunas soluciones y proveedores de virtualización de datos:

• AnalyticsCreator ^{[ 13 ]}
• Virtualización de datos de IBM ^{[ 14 ]}
• Virtualización de datos de copia de Actifio ^{[ 15 ]}
• Capsenta Ultrawrap, ^{[ 16 ]} adquirido por data.world 2019
• Virtualidad de datos ^{[ 17 ]}
• DataWerks ^{[ 18 ]}
• Plataforma de virtualización de datos Delphix ^{[ 19 ]}
• Plataforma de datos de Microsoft Gluent ^{[ 20 ]}
• Querona ^{[ 21 ]}
• Virtualización de datos de la plataforma de aplicaciones empresariales JBoss de Red Hat ^{[ 22 ]} (descontinuado)
• Plataforma de virtualización de datos para empresas de Stone Bond Technologies ^{[ 23 ]}
• Tejido de datos de IA generativa Stratio ^{[ 24 ]}
• Teiid, parte de JBoss Developer Studio ^{[ 25 ]}
• Virtualización de datos TIBCO
• Sistema de archivos de aprovisionamiento de Veritas ^{[ 26 ]} / Virtualización de datos de Veritas Technologies
• Plataforma de datos virtual ^{[ 27 ]}
• XAware ^{[ 28 ]}

Gartner elabora otra lista más actualizada con clasificaciones de usuarios. ^{[ 29 ]}

• Integración de datos : combinación de datos de múltiples fuentes. 
• Integración de la información empresarial – Tipo de visualización de la información (EII) 
• Gestión de datos maestros : práctica para el control de datos corporativos 
• Sistema de base de datos federada : sistema para gestionar bases de datos conectadas. 
• Sistema dispar : sistema de procesamiento de datos sin interacción con otros sistemas informáticos de procesamiento de datos. 

• Judith R. Davis; Robert Eve (2011). Virtualización de datos: Más allá de la integración de datos tradicional para lograr agilidad empresarial . Composite Software. ISBN 978-0979930416.
• Rick van der Lans (2012). Virtualización de datos para sistemas de inteligencia empresarial: Revolucionando la integración de datos para almacenes de datos . Elsevier. ISBN 9780123944252.
• Anthony Giordano (2010). Data Integration Blueprint and Modeling: Techniques for a Scalable and Sustainable Architecture . IBM Press. ISBN 9780137085309.