Analítica continua

El análisis continuo es un proceso de ciencia de datos que abandona los procesos ETL y los complejos flujos de datos por lotes en favor de paradigmas nativos de la nube y de microservicios . El procesamiento continuo de datos permite interacciones en tiempo real y conocimientos inmediatos con menos recursos.

El análisis es la aplicación de las matemáticas y las estadísticas a los macrodatos. Los científicos de datos escriben programas de análisis para buscar soluciones a problemas empresariales, como pronosticar la demanda o establecer un precio óptimo. El enfoque continuo ejecuta múltiples motores sin estado que enriquecen, agregan, infieren y actúan sobre los datos de manera simultánea. Los científicos de datos, los paneles de control y las aplicaciones cliente acceden a los mismos derivados de datos sin procesar o en tiempo real con la seguridad adecuada basada en la identidad, el enmascaramiento de datos y el control de versiones en tiempo real.

Tradicionalmente, los científicos de datos no han formado parte de los equipos de desarrollo de TI , como los programadores Java habituales . Esto se debe a que sus habilidades los distinguen en su propio departamento que normalmente no está relacionado con TI, es decir, matemáticas, estadísticas y ciencia de datos. Por lo tanto, es lógico concluir que su enfoque para escribir código de software no goza de las mismas eficiencias que el equipo de programación tradicional. En particular, la programación tradicional ha adoptado el enfoque de entrega continua para escribir código y la metodología ágil . Eso libera software en un círculo continuo, llamado iteraciones .

El análisis continuo es, entonces, la extensión del modelo de desarrollo de software de entrega continua al equipo de desarrollo de análisis de big data . El objetivo del profesional del análisis continuo es, entonces, encontrar formas de incorporar la escritura de código analítico y la instalación de software de big data en el modelo de desarrollo ágil de ejecución automática de pruebas unitarias y funcionales y la creación del sistema ambiental con herramientas automatizadas.

Para que esto funcione, es necesario que los científicos de datos escriban su código en el mismo repositorio de código que utilizan los programadores habituales, de modo que el software pueda extraerlo de allí y ejecutarlo durante el proceso de compilación. También es necesario guardar la configuración del clúster de big data (conjuntos de máquinas virtuales ) en algún tipo de repositorio. Esto facilita el envío de código analítico y software y objetos de big data de la misma forma automatizada que el proceso de integración continua. ^{[1] [2] [3] [4]}

• Analítica continua
• Modelo de desarrollo