Procesamiento por lotes

En informática , el procesamiento por lotes consiste en ejecutar una tarea de software de forma automatizada y sin supervisión. Un usuario programa la ejecución de una tarea y espera a que el sistema la ejecute. Normalmente, una tarea se programa para que se ejecute a una hora determinada del día , cuando ocurre un evento o cuando hay recursos informáticos disponibles.

El término "procesamiento por lotes" tiene su origen en la clasificación tradicional de los métodos de producción como producción por encargo (producción única), producción por lotes (producción de un "lote" de varios artículos a la vez, una etapa a la vez) y producción en flujo (producción en masa, todas las etapas del proceso a la vez).

Historia posterior

El primer sistema de tiempo compartido de propósito general, el Sistema de Tiempo Compartido Compatible (CTSS), era compatible con el procesamiento por lotes. Esto facilitó la transición del procesamiento por lotes a la computación interactiva . ^{[ 5 ]}

Desde finales de la década de 1960 en adelante, la computación interactiva, como a través de interfaces de terminal basadas en texto (como en los shells de Unix o los bucles de lectura-evaluación-impresión ), y posteriormente las interfaces gráficas de usuario , se hicieron comunes. La computación no interactiva, tanto las tareas puntuales como la compilación, como el procesamiento de múltiples elementos en lotes, se denominó retrospectivamente procesamiento por lotes , y el término trabajo por lotes (en sus inicios, a menudo "lote de trabajos") se popularizó. Su uso temprano se encuentra particularmente en la Universidad de Michigan , en torno al Sistema de Terminales de Michigan (MTS). ^{[ 6 ]}

Si bien existía el sistema de tiempo compartido, su uso no era lo suficientemente robusto para el procesamiento de datos corporativos; nada de esto estaba relacionado con los equipos de registro de unidades anteriores , que eran operados por personas.

Las aplicaciones de procesamiento por lotes siguen siendo fundamentales en la mayoría de las organizaciones, principalmente porque muchos procesos de negocio comunes se prestan a este tipo de procesamiento. Si bien los sistemas en línea también pueden funcionar cuando no se desea la intervención manual, no suelen estar optimizados para realizar tareas repetitivas de gran volumen. Por lo tanto, incluso los sistemas nuevos generalmente incluyen una o más aplicaciones de procesamiento por lotes para actualizar la información al final del día, generar informes, imprimir documentos y otras tareas no interactivas que deben completarse de manera confiable dentro de ciertos plazos de tiempo.

Algunas aplicaciones se prestan al procesamiento de flujo, concretamente aquellas que solo necesitan datos de una única entrada a la vez (no totales, por ejemplo): se inicia el siguiente paso para cada entrada a medida que finaliza el anterior. En este caso, el procesamiento de flujo reduce la latencia para las entradas individuales, permitiendo que se completen sin esperar a que finalice todo el lote. Sin embargo, muchas aplicaciones requieren datos de todos los registros, especialmente cálculos como los totales. En este caso, se debe completar todo el lote antes de obtener un resultado útil: los resultados parciales no son utilizables.

Las aplicaciones de procesamiento por lotes modernas utilizan marcos de trabajo modernos como Jem The Bee, Spring Batch ^{[ 8 ]} o implementaciones de JSR 352 ^{[ 9 ]} escritas para Java , y otros marcos de trabajo para otros lenguajes de programación, para proporcionar la tolerancia a fallos y la escalabilidad necesarias para el procesamiento de alto volumen. Para garantizar un procesamiento de alta velocidad, las aplicaciones de procesamiento por lotes a menudo se integran con soluciones de computación en malla para particionar un trabajo por lotes en un gran número de procesadores, aunque existen importantes desafíos de programación al hacerlo. El procesamiento por lotes de alto volumen también impone exigencias particularmente altas a las arquitecturas de sistemas y aplicaciones. Las arquitecturas que presentan un alto rendimiento de entrada/salida y escalabilidad vertical , incluidas las computadoras centrales modernas , tienden a proporcionar un mejor rendimiento por lotes que las alternativas.

Los lenguajes de scripting se popularizaron a medida que evolucionaron junto con el procesamiento por lotes. ^{[ 10 ]}

Una ventana de lotes es "un período de actividad en línea menos intensiva" ^{[ 11 ]} cuando el sistema informático puede ejecutar trabajos por lotes sin interferencia de, o con, sistemas interactivos en línea.

Las operaciones de fin de día (EOD) de un banco requieren el concepto de " transición" , donde las transacciones y los datos se interrumpen para la actividad por lotes de un día en particular ("los depósitos realizados después de las 3 p. m. se procesarán al día siguiente").

A medida que los requisitos de tiempo de actividad de los sistemas en línea se ampliaron para respaldar la globalización , Internet y otras necesidades comerciales, la ventana de lotes se redujo ^{[ 12 ] [ 13 ]} y se puso un énfasis creciente en técnicas que requerirían que los datos en línea estuvieran disponibles durante una cantidad máxima de tiempo.

El tamaño del lote se refiere al número de unidades de trabajo que se procesarán dentro de una operación por lotes. Algunos ejemplos son:

• El número de líneas de un archivo que se deben cargar en una base de datos antes de confirmar la transacción.
• Número de mensajes que se deben extraer de una cola.
• El número de solicitudes que se enviarán dentro de una carga útil.

• Actualizaciones masivas eficientes de bases de datos y procesamiento automatizado de transacciones , en contraste con las aplicaciones interactivas de procesamiento de transacciones en línea (OLTP). El paso de extracción, transformación y carga (ETL) para poblar almacenes de datos es inherentemente un proceso por lotes en la mayoría de las implementaciones.
• Realizar operaciones masivas en imágenes digitales , como cambiar el tamaño, convertirlas, añadir marcas de agua o editar de cualquier otra forma un grupo de archivos de imagen.
• Conversión de archivos informáticos de un formato a otro. Por ejemplo, un proceso por lotes puede convertir archivos propietarios y heredados a formatos estándar comunes para consultas y visualización por parte del usuario final.
• Entrenamiento de modelos de aprendizaje automático . Por ejemplo, un sitio web de comercio electrónico podría querer procesar las transacciones de los clientes en lotes por hora para actualizar el modelo que produce recomendaciones de productos relacionados , con el fin de ahorrar recursos computacionales . ^{[ 14 ]}

El sistema operativo o plataforma IBM z/OS para mainframes cuenta con, posiblemente, el conjunto de herramientas de procesamiento por lotes más refinado y avanzado gracias a sus orígenes, su larga trayectoria y su continua evolución. Actualmente, estos sistemas suelen admitir cientos o incluso miles de tareas concurrentes, tanto en línea como por lotes, dentro de una única imagen del sistema operativo . Entre las tecnologías que facilitan el procesamiento concurrente por lotes y en línea se incluyen el lenguaje de control de trabajos (JCL), lenguajes de scripting como REXX , el subsistema de entrada de trabajos ( JES2 y JES3 ), el gestor de carga de trabajo (WLM), el gestor de reinicio automático (ARM), los servicios de recuperación de recursos (RRS), el uso compartido de datos de IBM Db2 , Parallel Sysplex , optimizaciones de rendimiento únicas como HiperDispatch , la arquitectura de canales de E/S y varias otras.

Los programas Unix cron, at, y batch(hoy batches una variante de at) permiten la programación compleja de tareas. Windows tiene un programador de tareas . La mayoría de los clústeres de computación de alto rendimiento utilizan el procesamiento por lotes para maximizar el uso del clúster. ^{[ 15 ]}

• Proceso de fondo
• Archivo por lotes
• Renombrado por lotes : para renombrar muchos archivos automáticamente sin intervención humana, con el fin de ahorrar tiempo y esfuerzo.
• BatchPipes : para utilidades que aumentan el rendimiento de los lotes.
• Modos de procesamiento
• Soporte de producción : para soporte de trabajos por lotes, programación y flujos de datos.
• computación de alto rendimiento