Cerdo Apache

Apache Pig ^{[ 1 ]} es una plataforma de alto nivel para crear programas que se ejecutan en Apache Hadoop . El lenguaje de esta plataforma se llama Pig Latin . ^{[ 1 ]} Pig puede ejecutar sus trabajos de Hadoop en MapReduce , Apache Tez o Apache Spark . ^{[ 2 ]} Pig Latin abstrae la programación del idioma Java MapReduce en una notación que hace que la programación MapReduce sea de alto nivel, similar a la de SQL para sistemas de gestión de bases de datos relacionales . Pig Latin se puede extender usando funciones definidas por el usuario (UDF) que el usuario puede escribir en Java , Python , JavaScript , Ruby o Groovy ^{[ 3 ]} y luego llamar directamente desde el lenguaje.

Apache Pig fue originalmente ^{[ 4 ]} desarrollado en Yahoo Research alrededor de 2006 para que los investigadores tuvieran una forma ad hoc de crear y ejecutar trabajos MapReduce en conjuntos de datos muy grandes. En 2007, ^{[ 5 ]} se trasladó a la Apache Software Foundation .

A continuación se muestra un ejemplo de un programa de " Conteo de palabras " en Pig Latin:

input_lines = CARGAR '/tmp/my-copy-of-all-pages-on-internet' COMO ( línea: chararray ); -- Extraer palabras de cada línea y colocarlas en una bolsa de cerdo -- tipo de datos, luego aplanar la bolsa para obtener una palabra en cada fila words = PARA CADA input_lines GENERAR APLASTAMIENTO ( TOKENIZAR ( línea )) COMO palabra; -- filtrar cualquier palabra que sea solo espacios en blanco filtered_words = FILTRAR words POR palabra COINCIDENCIAS '\\w+' ; -- crear un grupo para cada palabra word_groups = AGRUPAR filtered_words POR palabra; -- contar las entradas en cada grupo word_count = PARA CADA word_groups GENERAR CONTAR ( filtered_words ) COMO conteo , grupo COMO palabra; -- ordenar los registros por conteo ordered_word_count = ORDENAR word_count POR conteo DESC ; ALMACENAR ordered_word_count EN '/tmp/number-of-words-on-internet' ;

El programa anterior generará tareas ejecutables en paralelo que se pueden distribuir entre varias máquinas en un clúster Hadoop para contar el número de palabras en un conjunto de datos, como por ejemplo todas las páginas web de Internet.

En comparación con SQL, Pig

1. tiene un modelo relacional anidado,
2. utiliza evaluación perezosa ,
3. utiliza extracción, transformación, carga (ETL),
4. es capaz de almacenar datos en cualquier punto durante una canalización ,
5. declara planes de ejecución ,
6. Admite la división de flujos de trabajo, lo que permite que estos avancen a lo largo de grafos acíclicos dirigidos (DAG) en lugar de flujos de trabajo estrictamente secuenciales.

Por otro lado, se ha argumentado que los sistemas de gestión de bases de datos (DBMS) son sustancialmente más rápidos que el sistema MapReduce una vez cargados los datos, pero que la carga de datos lleva considerablemente más tiempo en los sistemas de bases de datos. También se ha argumentado que los sistemas de gestión de bases de datos relacionales (RDBMS) ofrecen soporte integrado para almacenamiento en columnas, trabajo con datos comprimidos, índices para un acceso eficiente a datos aleatorios y tolerancia a fallos a nivel de transacción. ^{[ 10 ]}

Pig Latin es procedimental y se adapta de forma muy natural al paradigma de la canalización, mientras que SQL es declarativo . En SQL, los usuarios pueden especificar que los datos de dos tablas deben unirse, pero no qué implementación de unión utilizar (se puede especificar la implementación de JOIN en SQL, por lo que "...para muchas aplicaciones SQL, el escritor de consultas puede no tener suficiente conocimiento de los datos o la experiencia suficiente para especificar un algoritmo de unión apropiado"). Pig Latin permite a los usuarios especificar una implementación o aspectos de una implementación que se utilizarán en la ejecución de un script de varias maneras. ^{[ 11 ]} En efecto, la programación en Pig Latin es similar a especificar un plan de ejecución de consulta, lo que facilita a los programadores el control explícito del flujo de su tarea de procesamiento de datos. ^{[ 12 ]}

SQL está orientado a consultas que producen un único resultado. SQL maneja árboles de forma natural, pero no tiene un mecanismo integrado para dividir un flujo de procesamiento de datos y aplicar diferentes operadores a cada subflujo. El script Pig Latin describe un grafo acíclico dirigido (DAG) en lugar de una tubería. ^{[ 11 ]}

La capacidad de Pig Latin para incluir código de usuario en cualquier punto del proceso es útil para el desarrollo de flujos de datos. Si se utiliza SQL, primero se deben importar los datos a la base de datos y luego puede comenzar el proceso de limpieza y transformación. ^{[ 11 ]}

• Colmena Apache
• Sawzall : una herramienta similar de Google.

• Sitio web oficial