Programación con Big Data en R

Programación con Big Data en R (pbdR) ^{[ 1 ]} es una serie de paquetes de R y un entorno para computación estadística con big data mediante computación estadística de alto rendimiento. ^{[ 2 ] [ 3 ]} pbdR utiliza el mismo lenguaje de programación que R con clases y métodos S3/S4 que es utilizado por estadísticos y mineros de datos para desarrollar software estadístico . La diferencia significativa entre pbdR y el código R es que pbdR se centra principalmente en sistemas de memoria distribuida , donde los datos se distribuyen entre varios procesadores y se analizan en modo por lotes , mientras que las comunicaciones entre procesadores se basan en MPI que se utiliza fácilmente en grandes sistemas de computación de alto rendimiento (HPC) . El sistema R se centra principalmente en máquinas multinúcleo únicas para el análisis de datos a través de un modo interactivo como la interfaz GUI .

Dos implementaciones principales en R que utilizan MPI son Rmpi ^{​​[ 4 ]} y pbdMPI de pbdR.

• El protocolo pbdR, basado en pbdMPI, utiliza paralelismo SPMD, donde cada procesador se considera un trabajador y posee una parte de los datos. El paralelismo SPMD, introducido a mediados de la década de 1980, es particularmente eficiente en entornos de computación homogéneos para grandes conjuntos de datos; por ejemplo, al realizar la descomposición en valores singulares de una matriz grande o al realizar análisis de agrupamiento en grandes conjuntos de datos de alta dimensión. Por otro lado, no existe ninguna restricción para utilizar el paralelismo gestor/trabajador en un entorno de paralelismo SPMD .
• El Rmpi ^{​​[ 4 ]} utiliza paralelismo gestor/trabajador, donde un procesador principal (gestor) controla a todos los demás procesadores (trabajadores). Este paralelismo, introducido a principios de la década de 2000, resulta especialmente eficiente para tareas de gran tamaño en clústeres pequeños , como por ejemplo, el método bootstrap y la simulación de Monte Carlo en estadística aplicada, dado que la suposición de independencia e idéntica distribución (i.i.d. ) se utiliza comúnmente en la mayoría de los análisis estadísticos . En particular, el paralelismo de extracción de tareas ofrece un mejor rendimiento para el Rmpi ​​en entornos de computación heterogéneos.

La idea del paralelismo SPMD es permitir que cada procesador realice la misma cantidad de trabajo, pero en diferentes partes de un conjunto de datos grande. Por ejemplo, una GPU moderna es una gran colección de coprocesadores más lentos que pueden simplemente aplicar el mismo cálculo a diferentes partes de datos relativamente más pequeños, pero el paralelismo SPMD resulta en una forma eficiente de obtener soluciones finales (es decir, el tiempo de solución es menor). ^{[ 5 ]}

La programación con pbdR requiere el uso de varios paquetes desarrollados por el equipo central de pbdR. Los paquetes desarrollados son los siguientes:

Entre estos paquetes, pbdMPI proporciona funciones de envoltura para la biblioteca MPI , y también genera una biblioteca compartida y un archivo de configuración para entornos MPI. Todos los demás paquetes dependen de esta configuración para la instalación y carga de la biblioteca, lo que evita las dificultades de enlace y compilación. Todos los demás paquetes pueden usar las funciones MPI directamente y con facilidad.

• pbdMPI --- una interfaz eficiente para MPI, ya sea OpenMPI o MPICH2, con énfasis en el estilo de programación paralela de Programa Único/Datos Múltiples ( SPMD ).
• pbdSLAP --- agrupa bibliotecas de álgebra lineal densa y escalable en doble precisión para R, basadas en ScaLAPACK versión 2.0.2 que incluye varios paquetes de álgebra lineal escalable (a saber, BLACS , PBLAS y ScaLAPACK ).
• pbdNCDF4 --- interfaz para archivos de datos en formato Parallel Unidata NetCDF 4
• pbdBASE --- códigos y envoltorios de bajo nivel de ScaLAPACK
• pbdDMAT --- clases de matrices distribuidas y métodos computacionales, con énfasis en álgebra lineal y estadística.
• pbdDEMO --- conjunto de demostraciones y ejemplos de paquetes, y esta viñeta unificadora
• pmclust --- agrupamiento paralelo basado en modelos usando pbdR
• pbdPROF --- paquete de análisis de rendimiento para códigos MPI y visualización de estadísticas analizadas
• pbdZMQ --- interfaz para ØMQ
• remoter --- Cliente R con servidores R remotos
• pbdCS --- Cliente pbdR con servidores pbdR remotos
• pbdRPC --- llamada a procedimiento remoto
• kazaam --- matrices distribuidas muy altas y delgadas
• pbdML --- caja de herramientas de aprendizaje automático

Entre esos paquetes, el paquete pbdDEMO es una colección de más de 20 demostraciones de paquetes que ofrecen ejemplos de uso de los diversos paquetes pbdR, y contiene una viñeta que ofrece explicaciones detalladas de las demostraciones y proporciona información matemática o estadística.

• Raim, AM (2013). Introducción a la computación distribuida con pbdR en el Centro de Computación de Alto Rendimiento de la UMBC (PDF) (Informe técnico). Centro de Computación de Alto Rendimiento de la UMBC, Universidad de Maryland, Condado de Baltimore. HPCF-2013-2. Archivado del original (PDF) el 4 de febrero de 2014. Recuperado el 26 de junio de 2013 .
• Bachmann, MG, Dyas, AD, Kilmer, SC y Sass, J. (2013). Distribución cíclica de datos en bloques en pbdR y sus efectos en la eficiencia computacional (PDF) (Informe técnico). UMBC High Performance Computing Facility, Universidad de Maryland, Condado de Baltimore. HPCF-2013-11. Archivado del original (PDF) el 4 de febrero de 2014. Recuperado el 1 de febrero de 2014 .{{cite tech report}}: CS1 maint: varios nombres: lista de autores ( enlace )
• Bailey, WJ, Chambless, CA, Cho, BM y Smith, JD (2013). Identificación de correlaciones no lineales en datos de alta dimensión con aplicación a simulaciones de dinámica molecular de proteínas (PDF) (Informe técnico). UMBC High Performance Computing Facility, Universidad de Maryland, Condado de Baltimore. HPCF-2013-12. Archivado del original (PDF) el 4 de febrero de 2014. Recuperado el 1 de febrero de 2014 .{{cite tech report}}: CS1 maint: varios nombres: lista de autores ( enlace )
• Dirk Eddelbuettel (13 de noviembre de 2022). "Computación paralela y de alto rendimiento con R" .
• "R a 12.000 núcleos" .Este artículo fue leído 22.584 veces en 2012 desde que se publicó el 16 de octubre de 2012, y ocupó el puesto número 3 ^{[ 6 ].}
• Google Summer of Code - R 2013. "Herramientas de perfilado para computación paralela con R" .{{cite web}}: |author=tiene nombre genérico ( ayuda ) CS1 maint: servicio de archivo obsoleto ( enlace ) CS1 maint: nombres numéricos: lista de autores ( enlace )
• Wush Wu (2014). "在雲端運算環境使用R和MPI" .{{cite web}}: CS1 maint: nombres numéricos: lista de autores ( enlace )
• Wush Wu (2013) (25 de septiembre de 2013). "快速在AWS建立R和pbdMPI的使用環境" . YouTube .{{cite web}}: CS1 maint: nombres numéricos: lista de autores ( enlace )

• Sitio web oficial