Explorador de datos de Azure

Azure Data Explorer es una plataforma en la nube totalmente administrada ^{[ 1 ]} para análisis de big data ^{[ 2 ] [ 3 ]} y un servicio de exploración de datos , ^{[ 4 ]} desarrollado por Microsoft , ^{[ 5 ] [ 6 ]} que ingiere datos estructurados , semiestructurados (como JSON ) y no estructurados (como texto libre). ^{[ 7 ] [ 8 ] [ 9 ] [ 10 ]} El servicio luego almacena estos datos y responde a consultas analíticas ad hoc sobre ellos con segundos de latencia. Es una base de datos de indexación y recuperación de texto completo , que incluye capacidades de análisis de series temporales ^{[ 6 ] [ 7 ]} y evaluación de expresiones regulares y análisis de texto. ^{[ 11 ]}

Se ofrece como plataforma como servicio (PaaS) dentro de la plataforma Microsoft Azure . El producto fue anunciado por Microsoft en 2018.

El desarrollo del producto comenzó en 2014 como un proyecto de incubación de base en el centro de I+D israelí de Microsoft, ^{[ 12 ]} con el nombre en clave interno 'Kusto' ^{[ 9 ] [ 7 ]} (llamado así por Jacques Cousteau , como referencia a "explorar el océano de datos"). El objetivo del proyecto era satisfacer las necesidades de los servicios de Azure de análisis de registros y telemetría rápidos y escalables.

En 2016 se convirtió en el servicio de análisis y big data de backend para Application Insights Analytics. ^{[ 13 ]}

El producto se anunció como un producto de vista previa pública en la conferencia Microsoft Ignite 2018, ^{[ 14 ]} y se anunció como disponible para el público en general en la conferencia Microsoft Ignite de febrero de 2019. ^{[ 15 ]}

En marzo de 2021, "Kusto EngineV3", el motor de almacenamiento y consulta de próxima generación de Azure Data Explorer, estuvo disponible de forma general. Fue diseñado para proporcionar un rendimiento sin precedentes para la ingesta y consulta de datos de telemetría, registros y series temporales. ^{[ 16 ]}

Azure Data Explorer ofrece un lenguaje de consulta optimizado y opciones de visualización ^{[ 17 ]} de sus datos con un lenguaje similar a SQL llamado KQL (Kusto Query Language ^{[ 18 ] [ 19 ] [ 20 ]} ). ^{[ 7 ] [ 8 ]}

Azure Data Explorer puede ingerir 200 MB por segundo por nodo. ^{[ 14 ]} Los métodos de ingesta de datos son canalizaciones y conectores a servicios comunes como Azure Event Grid o Azure Event Hub, ^{[ 21 ]} o ingesta programática mediante SDK .

La visualización de datos se puede lograr utilizando su panel nativo o con herramientas como Power BI ^{[ 21 ] [ 22 ]} o Grafana . ^{[ 23 ] [ 24 ]}

Azure Data Explorer es una base de datos distribuida que se ejecuta en un clúster de nodos de computación en Microsoft Azure . Se basa en sistemas de gestión de bases de datos relacionales (RDBMS) y admite entidades como bases de datos, tablas , funciones y columnas. Admite operadores de consulta analítica complejos, como columnas calculadas, búsqueda y filtrado de filas, agregaciones por agrupación y uniones . ^{[ 25 ]}

El servicio del motor expone un modelo de datos relacional : en el nivel superior ( clúster ) hay una colección de bases de datos, cada una de las cuales contiene una colección de tablas y funciones almacenadas. Cada tabla define un esquema (lista ordenada de campos tipados).

En Azure Data Explorer, a diferencia de un sistema típico de gestión de bases de datos relacionales (RDBMS) , no existen restricciones como la unicidad de claves, claves primarias y foráneas . ^{[ 26 ]} Las relaciones necesarias se establecen en el momento de la consulta. ^{[ 27 ]} Los datos en Azure Data Explorer generalmente siguen este patrón: ^{[ 28 ]} Creación de la base de datos, ingesta de datos, consulta de la base de datos.