Flujo de datos de Google Cloud

Google Cloud Dataflow es un servicio totalmente administrado para ejecutar canalizaciones de Apache Beam dentro del ecosistema de Google Cloud Platform . Dataflow proporciona un servicio totalmente administrado para ejecutar canalizaciones de Apache Beam, ofreciendo características como escalado automático, reequilibrio dinámico de la carga de trabajo y un entorno de ejecución administrado. ^{[ 1 ]}

Dataflow es adecuado para trabajos de procesamiento de datos continuos y a gran escala, y es uno de los componentes principales de la arquitectura de big data de Google en la plataforma Google Cloud. ^{[ 2 ]}

En esencia, la arquitectura de Dataflow está diseñada para abstraer la gestión de la infraestructura, permitiendo a los desarrolladores centrarse exclusivamente en la lógica de sus tareas de procesamiento de datos. Cuando se envía una canalización escrita con el SDK de Apache Beam , Dataflow traduce esta definición de alto nivel en un grafo de trabajo optimizado. A continuación, el servicio aprovisiona y gestiona un conjunto de nodos de trabajo de Google Compute Engine para ejecutar este grafo de forma altamente paralela y tolerante a fallos. Este enfoque sin servidor, combinado con el autoescalado inteligente tanto del número de nodos de trabajo (horizontal) como de los recursos por nodo de trabajo (vertical), garantiza que los trabajos dispongan de la potencia computacional precisa que necesitan en cada momento, optimizando así el rendimiento y el coste.

La profunda integración del servicio con el ecosistema de Google Cloud lo convierte en una potente herramienta para diversos casos de uso, más allá del simple movimiento de datos. Para el análisis en tiempo real, Dataflow puede ingerir flujos de datos ilimitados desde Cloud Pub/Sub , realizar transformaciones complejas y cargar los resultados en BigQuery para consultas inmediatas. En los flujos de trabajo de aprendizaje automático, se utiliza habitualmente para preprocesar y transformar conjuntos de datos masivos almacenados en Cloud Storage , preparándolos para el entrenamiento de modelos en Vertex AI . Esta versatilidad lo convierte en el motor de procesamiento central para las operaciones ETL (Extracción, Transformación y Carga) modernas, el análisis de datos en tiempo real y la preparación de datos a gran escala en la nube.

Google Cloud Dataflow se anunció en junio de 2014 ^{[ 3 ]} y se lanzó al público general como una beta abierta en abril de 2015. ^{[ 4 ]} En enero de 2016, Google donó el SDK subyacente , la implementación de un ejecutor local y un conjunto de E/S ( conectores de datos ) para acceder a los servicios de datos de Google Cloud Platform a la Apache Software Foundation . ^{[ 5 ]} El código donado formó la base original de Apache Beam .

En agosto de 2022, se produjo un incidente en el que los temporizadores de usuario dejaron de funcionar para ciertas canalizaciones de transmisión de Dataflow en varias regiones, problema que posteriormente se resolvió. ^{[ 6 ]} A lo largo de 2023 y 2024, se produjeron varias otras actualizaciones e incidentes que afectaron a Google Cloud Dataflow, como se documenta en las notas de la versión y el historial de estado del servicio. ^{[ 7 ]}

La donación del SDK de Dataflow a la Apache Software Foundation fue un momento clave, que consolidó a Apache Beam como un modelo de programación unificado y de código abierto para definir canalizaciones de datos tanto por lotes como en tiempo real. Esta estrategia permitió desacoplar la definición de la canalización del motor de ejecución. Como resultado, los desarrolladores pudieron escribir lógica de procesamiento de datos portátil que no estaba limitada al ecosistema de Google. Una canalización de Beam se puede ejecutar en diversos ejecutores, como Apache Flink , Apache Spark y, por supuesto, el servicio altamente optimizado Google Cloud Dataflow, lo que proporciona flexibilidad y garantiza la vigencia de las inversiones en procesamiento de datos a futuro.

Google Cloud Dataflow admite tanto el procesamiento de datos por lotes como el procesamiento de datos en tiempo real. Gestiona automáticamente el aprovisionamiento de recursos, la fragmentación de datos y el escalado según la carga de trabajo, lo que reduce la configuración manual necesaria para operaciones de datos a gran escala. ^{[ 8 ]}

Dataflow se utiliza para canalizaciones de datos ETL (Extracción, Transformación, Carga), análisis en tiempo real y procesamiento de flujos de eventos para empresas en industrias como finanzas, publicidad e IoT. ^{[ 9 ]}

• Sitio web oficial