Tormenta Apache

Apache Storm es un marco de computación de procesamiento de flujos distribuidos escrito principalmente en el lenguaje de programación Clojure . Creado originalmente por Nathan Marz ^{[ 2 ]} y su equipo en BackType, ^{[ 3 ]} el proyecto se convirtió en código abierto tras ser adquirido por Twitter. ^{[ 4 ]} Utiliza "spouts" y "bolts" personalizados para definir fuentes de información y manipulaciones que permiten el procesamiento distribuido por lotes de datos en tiempo real. Su lanzamiento inicial fue el 17 de septiembre de 2011. ^{[ 5 ]}

Una aplicación Storm se diseña como una "topología" con forma de grafo acíclico dirigido (DAG), donde los nodos actúan como spouts y bolts. Las aristas del grafo se denominan streams y dirigen los datos de un nodo a otro. En conjunto, la topología funciona como una canalización de transformación de datos. A simple vista, la estructura general de la topología es similar a la de un trabajo MapReduce , con la principal diferencia de que los datos se procesan en tiempo real en lugar de en lotes individuales. Además, las topologías de Storm se ejecutan indefinidamente hasta que se detienen, mientras que un DAG de un trabajo MapReduce debe finalizar eventualmente. ^{[ 6 ]}

Storm se convirtió en un proyecto de nivel superior de Apache en septiembre de 2014 ^{[ 7 ]} y anteriormente estuvo en incubación desde septiembre de 2013. ^{[ 8 ] [ 9 ]}

Apache Storm se desarrolla bajo la Licencia Apache , lo que lo hace disponible para que la mayoría de las empresas lo utilicen. ^{[ 10 ]} Git se utiliza para el control de versiones y Atlassian Jira para el seguimiento de incidencias, dentro del programa Apache Incubator.

El clúster Apache Storm se compone de los siguientes componentes críticos:

• Nodos: Existen dos tipos de nodos: nodos maestros y nodos trabajadores. Un nodo maestro ejecuta el demonio Nimbus , que asigna tareas a las máquinas y supervisa su rendimiento. Por otro lado, un nodo trabajador ejecuta el demonio Supervisor , que asigna tareas a otros nodos trabajadores y los gestiona según sea necesario. Dado que Storm no puede supervisar el estado y la salud del clúster, implementa ZooKeeper para solucionar este problema, conectando Nimbus con los Supervisores.
• Componentes: Storm tiene tres componentes críticos: Topología, Flujo y Spout. La Topología es una red formada por un Flujo y un Spout. El Flujo es una tubería ilimitada de tuplas y el Spout es la fuente de los flujos de datos, que convierte los datos en tuplas de flujos y los envía a los bolts para su procesamiento. ^{[ 12 ]}

Storm es solo uno de los muchos motores de procesamiento de flujos de datos; para obtener una lista más completa, consulte Procesamiento de flujos de datos . Twitter anunció Heron el 2 de junio de 2015 ^{[ 13 ]} , que es compatible con la API de Storm. Existen otros motores de datos de transmisión comparables, como Spark Streaming y Flink ^{[ 14 ]} .

• C++ AMP
• paralelismo de datos
• Arquitectura Lambda
• paso de mensajes
• OpenMP
• OpenCL
• OpenHMPP
• Computación paralela
• TPL
• Hilo (informática)

• Página principal del proyecto