Apache Impala

Apache Impala es un motor de consultas SQL de procesamiento masivamente paralelo (MPP) de código abierto para datos almacenados en un clúster de computadoras que ejecuta Apache Hadoop . ^{[ 1 ]} Impala ha sido descrito como el equivalente de código abierto de Google F1 , que inspiró su desarrollo en 2012. ^{[ 2 ]}

Apache Impala es un motor de consultas que se ejecuta en Apache Hadoop. El proyecto se anunció en octubre de 2012 con una distribución de prueba beta pública ^{[ 3 ] [ 4 ]} y estuvo disponible para el público en general en mayo de 2013. ^{[ 5 ]}

Impala integra tecnología de bases de datos paralelas escalables a Hadoop, lo que permite a los usuarios ejecutar consultas SQL de baja latencia sobre datos almacenados en HDFS y Apache HBase sin necesidad de mover ni transformar los datos. Impala se integra con Hadoop para utilizar los mismos formatos de archivo y datos, metadatos, seguridad y marcos de gestión de recursos que MapReduce , Apache Hive , Apache Pig y otros programas de Hadoop.

Impala está diseñado para que analistas y científicos de datos realicen análisis de datos almacenados en Hadoop mediante SQL o herramientas de inteligencia empresarial . El resultado es que el procesamiento de datos a gran escala (a través de MapReduce) y las consultas interactivas se pueden realizar en el mismo sistema utilizando los mismos datos y metadatos, eliminando la necesidad de migrar conjuntos de datos a sistemas especializados o formatos propietarios simplemente para realizar análisis.

Las características incluyen:

• Admite HDFS , S3 , Microsoft Azure Blob Storage, Apache HBase y almacenamiento Apache Kudu ,
• Lee formatos de archivo de Hadoop, incluidos texto, LZO , SequenceFile , Avro , RCFile , Parquet y ORC.
• Admite seguridad de Hadoop ( autenticación Kerberos , Ldap ),
• Autorización granular basada en roles con Apache Ranger
• Utiliza metadatos, controlador ODBC y sintaxis SQL de Apache Hive .

A principios de 2013, se anunció un formato de archivo orientado a columnas llamado Parquet para arquitecturas como Impala. ^{[ 6 ]} En diciembre de 2013, Amazon Web Services anunció soporte para Impala. ^{[ 7 ]} A principios de 2014, MapR agregó soporte para Impala. ^{[ 8 ]} En 2015, se anunció otro formato llamado Kudu , que Cloudera propuso donar a la Apache Software Foundation junto con Impala. ^{[ 9 ]} Impala se convirtió en un proyecto de nivel superior de Apache (TLP) el 28 de noviembre de 2017. ^{[ 10 ]}

• Apache Drill : un proyecto de código abierto similar inspirado en Dremel.
• Dremel : herramienta similar de Google
• Trino : motor de consultas SQL de código abierto creado por los creadores de Presto.
• Presto : motor de consultas SQL de código abierto creado por Facebook y respaldado por Teradata.

• Sitio web del proyecto Apache Impala
• Código fuente del proyecto Impala en GitHub