Malla de datos

La malla de datos es un enfoque sociotécnico para construir una arquitectura de datos descentralizada aprovechando un diseño de autoservicio orientado al dominio (en una perspectiva de desarrollo de software), y toma prestada la teoría de diseño impulsado por el dominio de Eric Evans ^[1] y la teoría de topologías de equipo de Manuel Pais y Matthew Skelton. ^[2] La malla de datos se ocupa principalmente de los datos en sí, tomando el lago de datos y las canalizaciones como una preocupación secundaria. ^[3] La propuesta principal es escalar los datos analíticos mediante la descentralización orientada al dominio. ^[4] Con la malla de datos, la responsabilidad de los datos analíticos se traslada del equipo de datos central a los equipos de dominio, respaldados por un equipo de plataforma de datos que proporciona una plataforma de datos independiente del dominio. ^[5] Esto permite una disminución del desorden de datos o la existencia de silos de datos aislados , debido a la presencia de un sistema centralizado que asegura el intercambio consistente de principios fundamentales en varios nodos dentro de la malla de datos y permite el intercambio de datos en diferentes áreas. ^[6]

El término malla de datos fue definido por primera vez por Zhamak Dehghani en 2019 ^[7] mientras trabajaba como consultora principal en la empresa de tecnología Thoughtworks . ^{[8] [9]} Dehghani introdujo el término en 2019 y luego proporcionó mayores detalles sobre sus principios y arquitectura lógica a lo largo de 2020. Se predijo que el proceso sería un "gran contendiente" para las empresas en 2022. ^{[10] [11]} Las mallas de datos han sido implementadas por empresas como Zalando , ^[12] Netflix , ^[13] Intuit , ^[14] VistaPrint , PayPal ^[15] y otras.

En 2022, Dehghani dejó Thoughtworks para fundar Nextdata Technologies y centrarse en datos descentralizados. ^[16]

La malla de datos se basa en cuatro principios básicos: ^[17]

• Titularidad del dominio
• Los datos como producto ^[18]
• Plataforma de datos de autoservicio
• Gobernanza computacional federada

Además de estos principios, Dehghani escribe que los productos de datos creados por cada equipo de dominio deben ser detectables, direccionables, confiables, poseer una semántica y una sintaxis autodescriptivas, ser interoperables, seguros y regidos por estándares globales y controles de acceso. ^[19] En otras palabras, los datos deben tratarse como un producto listo para usar y confiable. ^[20]

Después de su introducción en 2019 ^[7], varias empresas comenzaron a implementar una malla de datos ^{[12] [14] [15]} y a compartir sus experiencias. Los desafíos (C) y las mejores prácticas (BP) para los profesionales incluyen:

C1. Gobernanza de datos federada

Las empresas informan que tienen dificultades para adoptar una estructura de gobernanza federada para actividades y procesos que antes eran de propiedad central y se aplicaban de manera centralizada. Esto es especialmente cierto en lo que respecta a la seguridad, la privacidad y los temas regulatorios. ^{[21] [22] [23]}

C2. Cambio de responsabilidad

En la malla de datos, los individuos dentro de los dominios son responsables de extremo a extremo de los productos de datos. Esta nueva responsabilidad puede ser un desafío, porque rara vez se compensa y generalmente beneficia a otros dominios. ^{[21] [22]}

C3. Comprensión

Las investigaciones han demostrado una grave falta de comprensión del paradigma de la malla de datos entre los empleados de las empresas que implementan una malla de datos. ^[21]

BP1. Unidad interdominio

Para abordar el C1, las organizaciones deben introducir una unidad de dirección interdisciplinaria responsable de la planificación estratégica, la priorización de los casos de uso y la aplicación de reglas de gobernanza específicas, especialmente en lo que respecta a temas relacionados con la seguridad, la normativa y la privacidad. Sin embargo, una unidad de dirección interdisciplinaria solo puede complementar y respaldar la estructura de gobernanza federada y puede volverse obsoleta con la creciente madurez de la malla de datos. ^{[21] [24]}

BP2. Seguimiento y observación

Al abordar C2., las organizaciones deben observar y calificar la calidad de los productos de datos, ya que el seguimiento y la clasificación de los productos de datos clave pueden fomentar ofertas de alta calidad, motivar a los propietarios de dominios y respaldar las negociaciones presupuestarias. ^[21]

BP3. Adopción consciente

Las organizaciones deben evaluar y analizar en profundidad sus sistemas de datos existentes, considerar los factores organizacionales y sopesar los posibles beneficios antes de implementar una malla de datos. Al introducir una malla de datos, se recomienda introducir la terminología de la malla de datos de manera cuidadosa y consciente para garantizar una comprensión clara del concepto (C3). ^[21]

Scott Hirleman ha iniciado una comunidad de malla de datos que contiene más de 7.500 personas en su canal de Slack. ^[25]

• Gestión de datos
• Plataforma de datos
• Modelado de bóveda de datos , método de modelado de datos con almacenamiento de datos de varios sistemas operativos y rastreo del origen de los datos, facilitando la auditoría, la velocidad de carga y la resiliencia.
• Almacén de datos , un tipo de sistema de base de datos bien establecido para organizar datos de manera temática.
• ETL y ELT