Apache Ignite

Apache Ignite es un sistema de gestión de bases de datos distribuidas para computación de alto rendimiento.

La base de datos de Apache Ignite utiliza RAM como nivel predeterminado de almacenamiento y procesamiento, por lo que pertenece a la clase de plataformas de computación en memoria . ^{[ 2 ]} El nivel de disco es opcional, pero una vez habilitado, contendrá el conjunto de datos completo, mientras que el nivel de memoria ^{[ 3 ]} almacenará en caché el conjunto de datos completo o parcial según su capacidad.

En Ignite, los datos se almacenan en forma de pares clave-valor. El componente de base de datos distribuye estos pares entre los nodos del clúster de manera que cada nodo posee una parte del conjunto de datos total. Los datos se reequilibran automáticamente cada vez que se agrega o elimina un nodo del clúster.

El clúster Apache Ignite se puede implementar en las instalaciones con hardware estándar, en la nube (por ejemplo, Microsoft Azure , AWS , Google Compute Engine ) o en entornos de contenedores y aprovisionamiento como Kubernetes , Docker , Apache Mesos , VMware . ^{[ 4 ] [ 5 ]}

Apache Ignite fue desarrollado por GridGain Systems, Inc. y se convirtió en software de código abierto en 2014. GridGain sigue siendo el principal contribuyente al código fuente y ofrece tanto una versión comercial como servicios profesionales relacionados con Apache Ignite.

Una vez donado como código abierto, Ignite fue aceptado en el programa Apache Incubator en octubre de 2014. ^{[ 6 ] [ 7 ]} El proyecto Ignite se graduó del programa incubador para convertirse en un proyecto Apache de nivel superior el 18 de septiembre de 2015. ^{[ 7 ]}

En los últimos años, Apache Ignite se ha convertido en uno de los 5 proyectos más activos ^{[ 8 ]} según algunas métricas, incluyendo la actividad de la base de usuarios y el tamaño del repositorio.

GridGain fue fundada en 2010 por Nikita Ivanov y Dmitriy Setrakyan en Pleasanton, California . En noviembre de 2011 se anunció una ronda de financiación de entre 2 y 3 millones de dólares. ^{[ 9 ]} Para 2013, ya estaba ubicada en Foster City, California, cuando anunció una financiación de 10 millones de dólares. ^{[ 10 ]}

El componente de clúster Apache Ignite utiliza una arquitectura sin recursos compartidos . Los nodos de servidor son unidades de almacenamiento y computación del clúster que contienen tanto datos como índices y procesan las solicitudes entrantes junto con los cálculos. Los nodos de servidor también se conocen como nodos de datos. ^{[ 11 ]}

Los nodos cliente son puntos de conexión desde aplicaciones y servicios a la base de datos distribuida en un clúster de nodos servidor. Los nodos cliente suelen estar integrados en el código de la aplicación, escrito en Java , C# o C++, que cuenta con bibliotecas específicas. Sobre su base distribuida, Apache Ignite admite interfaces que incluyen API de clave-valor compatibles con JCache, SQL ANSI-99 con uniones, transacciones ACID y cálculos tipo MapReduce . Ignite proporciona controladores ODBC , ^{[ 12 ]} JDBC ^{[ 13 ]} y REST para trabajar con la base de datos desde otros lenguajes o herramientas de programación. Los controladores utilizan internamente nodos cliente o conexiones de socket de bajo nivel para comunicarse con el clúster.

La base de datos Ignite organiza los datos en forma de pares clave-valor en "cachés" distribuidos (el término "caché" se utiliza por razones históricas, ya que inicialmente la base de datos admitía la capa de memoria). Generalmente, cada caché representa un tipo de entidad, como un empleado o una organización.

Cada caché se divide en un conjunto fijo de "particiones" que se distribuyen uniformemente entre los nodos del clúster mediante el algoritmo de hash de encuentro . Siempre hay una copia primaria y cero o más copias de respaldo de una partición. El número de copias se configura con un parámetro de factor de replicación. ^{[ 14 ]} Si se configura el modo de replicación completa, cada nodo del clúster almacenará una copia de una partición. Las particiones se reequilibran ^{[ 15 ]} automáticamente si se agrega o se elimina un nodo del clúster para lograr una distribución uniforme de los datos y distribuir la carga de trabajo.

Los pares clave-valor se almacenan en las particiones. Apache Ignite asigna un par a una partición tomando el valor de la clave y pasándolo a una función hash especial .

La arquitectura de memoria en Apache Ignite consta de dos niveles de almacenamiento y se denomina "memoria duradera". Internamente, utiliza paginación para la gestión del espacio de memoria y la referencia de datos, ^{[ 16 ]} similar a la memoria virtual de sistemas como Unix . Sin embargo, una diferencia significativa entre las arquitecturas de memoria duradera y virtual es que la primera siempre mantiene todo el conjunto de datos con índices en el disco (siempre que el nivel de disco esté habilitado), mientras que la memoria virtual utiliza el disco cuando se queda sin RAM, únicamente para fines de intercambio.

La primera capa de la arquitectura de memoria, la capa de memoria, mantiene los datos e índices en la RAM fuera del montón de Java en las llamadas "regiones fuera del montón". Estas regiones son preasignadas y administradas por la propia base de datos, lo que evita la utilización del montón de Java para necesidades de almacenamiento y, en consecuencia, ayuda a evitar largas pausas de recolección de basura. Las regiones se dividen en páginas de tamaño fijo que almacenan datos, índices y metadatos del sistema. ^{[ 17 ]}

Apache Ignite funciona perfectamente desde la capa de memoria, pero siempre es posible utilizar la segunda capa, la de disco, para mayor durabilidad . La base de datos incluye su propia persistencia nativa y, además, puede utilizar bases de datos RDBMS , NoSQL o Hadoop como capa de disco.

Apache Ignite es una plataforma de consistencia fuerte que implementa el protocolo de confirmación en dos fases . ^{[ 22 ]} Las garantías de consistencia se cumplen tanto para la memoria como para el disco. Las transacciones en Apache Ignite cumplen con las propiedades ACID y pueden abarcar varios nodos y cachés del clúster. La base de datos admite modos de concurrencia pesimistas y optimistas, transacciones sin interbloqueos y técnicas de detección de interbloqueos.

En los casos en que las garantías transaccionales son opcionales, Apache Ignite permite ejecutar consultas en modo atómico, lo que proporciona un mejor rendimiento.

Se puede acceder a Apache Ignite mediante las API SQL expuestas a través de los controladores JDBC y ODBC, así como mediante bibliotecas nativas desarrolladas para los lenguajes de programación Java , C# y C++ . La sintaxis de los lenguajes de manipulación y definición de datos cumple con la especificación ANSI-99 .

Al ser una base de datos distribuida, Apache Ignite admite uniones distribuidas tanto colocalizadas como no colocalizadas . ^{[ 23 ]} Cuando los datos están colocalizados, las uniones se ejecutan en los datos locales de los nodos del clúster, evitando el movimiento de datos a través de la red. Las uniones no colocalizadas pueden mover los conjuntos de datos a través de la red para preparar un conjunto de resultados consistente.

Apache Ignite proporciona funcionalidades de entrenamiento e inferencia de aprendizaje automático, así como preprocesamiento de datos y estimación de la calidad del modelo. ^{[ 24 ]} Admite de forma nativa algoritmos de entrenamiento clásicos como regresión lineal , árboles de decisión , bosques aleatorios , potenciación de gradiente , SVM , K-Means y otros. Además, Apache Ignite cuenta con una profunda integración con TensorFlow . ^{[ 25 ]} Esta integración permite entrenar redes neuronales con datos almacenados en Apache Ignite de forma distribuida o en un solo nodo.

La idea clave del kit de herramientas Apache Ignite Machine Learning es la capacidad de realizar entrenamiento e inferencia distribuidos instantáneamente sin transmisiones masivas de datos. Se basa en el enfoque MapReduce , resistente a fallos de nodos y reequilibrios de datos, lo que permite evitar transferencias de datos y, por lo tanto, acelerar el preprocesamiento y el entrenamiento del modelo. ^{[ 26 ]}