ZPAQ

ZPAQ es un archivador de línea de comandos de código abierto para Windows y Linux . Utiliza un formato de registro o de solo adición que puede revertirse a un estado anterior para recuperar versiones anteriores de archivos y directorios. Admite actualizaciones incrementales rápidas agregando solo archivos cuya fecha de última modificación haya cambiado desde la actualización anterior. Comprime utilizando deduplicación y varios algoritmos ( LZ77 , BWT y mezcla de contexto ) según el tipo de datos y el nivel de compresión seleccionado. Para preservar la compatibilidad hacia adelante y hacia atrás entre versiones a medida que se mejora el algoritmo de compresión, almacena el algoritmo de descompresión en el archivo. El código fuente de ZPAQ incluye una API de dominio público , libzpaq , que proporciona servicios de compresión y descompresión a aplicaciones C++ . Se cree que el formato no está sujeto a patentes .

Los archivos se guardan en el formato de registro de nivel 2 de ZPAQ. ^{[ 2 ]} El estándar define dos formatos: transmisión continua y registro. Solo el formato de registro admite la deduplicación, los atributos de directorio y múltiples versiones de archivos con fecha.

El formato de archivo de transmisión está diseñado para extraerse en una sola pasada. Un archivo se divide en una secuencia de bloques que pueden descomprimirse de forma independiente y en paralelo. Los bloques se dividen en segmentos que deben descomprimirse secuencialmente. El encabezado de cada bloque contiene una descripción del algoritmo de descompresión. Cada segmento tiene un encabezado que contiene un nombre de archivo opcional y un comentario opcional para metadatos como tamaño, fecha y atributos, y una suma de verificación SHA-1 opcional al final de los datos originales para verificar la integridad. Si se omite el nombre del archivo, se asume que es una continuación del último archivo nombrado, que puede estar en el bloque anterior. Por lo tanto, insertar, eliminar o reordenar los bloques en un archivo de transmisión tiene el efecto de realizar las mismas operaciones sobre los datos que representan los bloques.

El formato de registro consta de una secuencia de transacciones o actualizaciones. Una actualización contiene cuatro tipos de bloques: un bloque de encabezado de transacción, una secuencia de bloques de datos, una secuencia correspondiente de tablas de fragmentos y una secuencia de bloques de índice. Un bloque de encabezado de transacción contiene la fecha de la transacción y un puntero que omite los bloques de datos para permitir una lectura rápida del índice del archivo. Los bloques de datos contienen una secuencia de fragmentos de archivo comprimidos. Las tablas de fragmentos proporcionan el tamaño y el hash SHA-1 de cada fragmento. Los bloques de índice contienen una lista de ediciones del índice global del archivo. Una edición puede ser una actualización o una eliminación de un archivo. Una actualización incluye el nombre del archivo, la fecha de última modificación, los atributos y una lista de punteros de fragmentos a las transacciones actual y anterior. Los fragmentos pueden ser compartidos por más de un archivo. Una eliminación no elimina ningún dato del archivo, sino que indica que el archivo no debe extraerse a menos que el archivo se revierta a una fecha anterior.

El estándar ZPAQ no especifica un algoritmo de compresión. En cambio, especifica un formato para representar el algoritmo de descompresión en los encabezados de bloque. Los algoritmos de descompresión se escriben en un lenguaje llamado ZPAQL y se almacenan como un código de bytes que puede interpretarse o convertirse directamente a código x86 de 32 o 64 bits y ejecutarse. Un programa ZPAQL consta de 3 partes.

• COMP - Una cadena opcional de componentes de modelado de contexto.
• HCOMP - Código máquina para calcular contextos para los componentes COMP.
• PCOMP: código máquina opcional para el postprocesamiento de los datos decodificados.

Los modelos COMP se basan en PAQ , que comprime un bit a la vez mediante codificación aritmética . Existen 9 tipos de componentes. Cada componente toma un contexto y, posiblemente, las predicciones de componentes anteriores, y genera una predicción o probabilidad de que el siguiente bit sea un 1. La salida del último componente está codificada aritméticamente. Los tipos de componentes son:

• CONST - Una predicción fija.
• CM - Modelo de contexto. El contexto se utiliza para buscar una predicción en una tabla. Al actualizar, la entrada seleccionada se ajusta para reducir el error de predicción.
• ICM - Modelo de contexto indirecto. El contexto se utiliza para buscar un estado de 8 bits que representa un historial de bits reciente. El historial selecciona una predicción, al igual que con un CM.
• MEZCLA: Un grupo de predicciones se combina mediante un promedio ponderado en el dominio logístico, o log(p/(1-p)). Los pesos se seleccionan según el contexto. Al actualizar, los pesos se ajustan para favorecer las entradas más precisas.
• MIX2: una mezcla de 2 entradas con pesos restringidos a sumar 1.
• AVG - Una mezcla MIX2 con pesos fijos.
• SSE - Estimador de símbolos secundarios. Busca una predicción en una tabla interpolada a partir de un contexto y una predicción cuantificada de otro componente.
• ISSE - Estimador indirecto de símbolos secundarios. El contexto selecciona un historial de bits como con un ICM, y luego el historial de bits selecciona un par de pesos para mezclar la entrada con una constante de 1.
• COINCIDENCIA: Busca la aparición anterior del contexto y predice qué parte le siguió, con una precisión que depende de la longitud de la coincidencia.

La sección HCOMP calcula los contextos para los componentes de la sección COMP. Se trata de una máquina virtual cuyo estado consta de cuatro registros de 32 bits (A, B, C, D), un contador de programa de 16 bits, un bit de indicador de condición y dos matrices de memoria: una de bytes (M) y otra de palabras de 32 bits (H). El inicio de H forma la matriz de contextos. Se ejecuta un programa similar al lenguaje ensamblador una vez por cada byte codificado o decodificado, utilizando dicho byte como entrada en A. El contexto final que ve la sección COMP es el contexto calculado combinado con los bits previamente vistos del byte actual.

La sección opcional PCOMP se utiliza para el posprocesamiento de los datos decodificados. Se ejecuta en una máquina virtual independiente, al igual que HCOMP. Sin embargo, a diferencia de las secciones COMP y HCOMP, que se utilizan tanto para la compresión como para la descompresión, la sección PCOMP se ejecuta únicamente durante la descompresión. El compresor se encarga de realizar la operación inversa sobre los datos de entrada antes de la codificación.

comp 3 3 0 0 8 (hh hm ph pm n) 0 icm 5 (order 0...5 chain) 1 isse 13 0 2 isse 17 1 3 isse 18 2 4 isse 18 3 5 isse 19 4 6 match 22 24 (order 7) 7 mix 16 0 7 24 255 (order 1) hcomp c++ *c=a b=c a=0 (save in rotating buffer M) d= 1 hash *d=a (orders 1...5 for isse) b-- d++ hash *d=a b-- d++ hash *d=a b-- d++ hash *d=a b-- d++ hash *d=a b-- d++ hash b-- hash *d=a (order 7 for match) d++ a=*c a<<= 8 *d=a (order 1 for mix) halt end

a = (a + *b + 512) * 773;

• 15 de febrero de 2009 - Lanzamiento experimental de zpaq 0.01.
• 12 de marzo de 2009 - Se finaliza la especificación zpaq 1.00, garantizando la compatibilidad con versiones anteriores.
• 29 de septiembre de 2009 - zpaq 1.06, especificación actualizada a la versión 1.01: se añaden etiquetas de localización para admitir archivos autoextraíbles.
• 14 de octubre de 2009 - zpaq 1.09 añade ZPAQL al traductor de C++ como optimización de velocidad.
• 27 de septiembre de 2010 - API separada de libzpaq 0.01.
• 21 de enero de 2011 - pzpaq 0.01, primera versión multihilo, posteriormente reincorporada a zpaq.
• 13 de noviembre de 2011 - zpaq 4.00, añade un compilador JIT (ZPAQL a x86) eliminando la necesidad de un compilador C++ externo para la optimización.
• 1 de febrero de 2012 - zpaq 5.00, especificación actualizada a la versión 2.00 para permitir una sección COMP vacía (solo para posprocesamiento).
• 28 de septiembre de 2012 - zpaq 6.00, especificación actualizada a la versión 2.01, añadiendo formato de registro de transacciones.
• 23 de enero de 2013 - zpaq 6.19 separa las funciones de desarrollo en un programa independiente, zpaqd.

• Squash , una capa de abstracción de compresión que admite muchos códecs .
• PeaZip , un compresor que admite más de 150 formatos, incluyendo la extracción del formato de transmisión ZPAQ.
• fastqz , un compresor FASTQ construido usando libzpaq. ^{[ 3 ]}
• zpaqfranz , la navaja suiza para el gestor de copias de seguridad y recuperación ante desastres más exigente.
• wcx_zpaq , un complemento de empaquetado (wcx) para Total Commander. ^{[ 4 ]}
• Bandizip , un archivador que proporciona una velocidad de procesamiento ultrarrápida y funciones prácticas, incluido el soporte para el formato ZPAQ. ^{[ 5 ]}

• Sitio web oficial
• Espejo no oficial en GitHub
• Introducción a zpaql con imágenes en escala de grises