zstd

Zstandard es un algoritmo de compresión de datos sin pérdidas desarrollado por Yann Collet en Facebook . Zstd es la implementación de referencia correspondiente en C , publicada como software de código abierto el 31 de agosto de 2016. ^{[ 3 ] [ 4 ]}

El algoritmo se publicó en 2018 como RFC 8478 , que también define un tipo de medio asociado "application/zstd", la extensión de nombre de archivo "zst" y la codificación de contenido HTTP "zstd". ^{[ 5 ]} 

Zstandard se diseñó para ofrecer una relación de compresión comparable a la del algoritmo DEFLATE (desarrollado en 1991 y utilizado en los programas ZIP y gzip originales ), pero más rápida, especialmente para la descompresión. Es ajustable con niveles de compresión que van desde -7 (el más rápido) ^{[ 6 ]} hasta 22 (el más lento en velocidad de compresión, pero con la mejor relación de compresión).

A partir de la versión 1.3.2 (octubre de 2017), zstd implementa opcionalmente la búsqueda y deduplicación de muy largo alcance ( ventana de --long, 128  MiB) de forma similar a rzip o lrzip . ^{[ 7 ]}

La velocidad de compresión puede variar en un factor de 20 o más entre los niveles más rápidos y más lentos, mientras que la descompresión es uniformemente rápida, variando en menos del 20% entre los niveles más rápidos y más lentos. ^{[ 8 ]} La línea de comandos Zstandard tiene un --adaptmodo "adaptativo" ( ) que varía el nivel de compresión dependiendo de las condiciones de E/S, principalmente de la velocidad a la que puede escribir la salida.

Zstandard en su nivel máximo de compresión ofrece una relación de compresión cercana a lzma , lzham y ppmx . ^{[ 9 ] [ 10 ]} A partir de 2019, Zstandard alcanza la frontera de Pareto para la descompresión, ya que produce una salida más rápida que cualquier otro algoritmo de código abierto con una relación de compresión similar o mejor. ^{[ 11 ]}

Los diccionarios pueden tener un gran impacto en la relación de compresión de archivos pequeños, por lo que Zstandard puede usar un diccionario de compresión proporcionado por el usuario. También ofrece un modo de entrenamiento, capaz de generar un diccionario a partir de un conjunto de muestras. ^{[ 12 ] [ 13 ]} En particular, se puede cargar un diccionario para procesar grandes conjuntos de archivos con redundancia entre archivos, pero no necesariamente dentro de cada archivo, como para archivos de registro .

Zstandard combina una etapa de coincidencia de diccionario ( LZ77 ) con una ventana de búsqueda grande y una etapa de codificación de entropía rápida . Utiliza la codificación de Huffman junto con la entropía de estado finito (FSE), una variante de tANS . ^{[ 14 ]}

El kernel de Linux ha incluido Zstandard desde noviembre de 2017 (versión 4.14) como método de compresión para los sistemas de archivos btrfs y squashfs , ^{[ 16 ] [ 17 ] [ 18 ]} así como para módulos del kernel cargables .

En 2017, Allan Jude integró Zstandard en el núcleo de FreeBSD , ^{[ 19 ]} y posteriormente se integró como una opción de compresor para volcados de memoria (tanto de programas de usuario como de errores del núcleo). También se utilizó para crear un método de compresión OpenZFS de prueba de concepto ^{[ 8 ]} que se integró en 2020. ^{[ 20 ]}

Las bases de datos AWS Redshift y RocksDB incluyen soporte para la compresión de campos mediante Zstandard. ^{[ 21 ]}

En marzo de 2018, Canonical probó ^{[ 22 ]} el uso de zstd como método de compresión de paquetes deb por defecto para la distribución Ubuntu Linux. En comparación con la compresión xz de paquetes deb, zstd en el nivel 19 descomprime significativamente más rápido, pero a costa de archivos de paquete un 6 % más grandes. El soporte se añadió a Debian (y posteriormente a Ubuntu) en abril de 2018 (en la versión 1.6~rc1). ^{[ 23 ] [ 22 ] [ 24 ]}

Fedora añadió soporte para ZStandard a RPM en mayo de 2018 (Fedora release 28) y lo utilizó para empaquetar la versión en octubre de 2019 (Fedora  31). ^{[ 25 ]} En Fedora  33, el sistema de archivos se comprime por defecto con zstd. ^{[ 26 ] [ 27 ]}

Arch Linux agregó soporte para zstd como método de compresión de paquetes en octubre de 2019 con el lanzamiento del gestor de paquetes pacman  5.2 ^{[ 28 ]} y en enero de 2020 cambió de xz a zstd para los paquetes en el repositorio oficial. Arch usa zstd -c -T0 --ultra -20 -; mientras que el tamaño de todos los paquetes comprimidos combinados aumentó en un 0,8 % (en comparación con xz), la velocidad de descompresión es 14 veces más rápida, la memoria de descompresión aumentó en 50  MiB cuando se usan múltiples hilos, y la memoria de compresión aumentó pero escala con el número de hilos utilizados. ^{[ 29 ] [ 30 ] [ 31 ]} Arch Linux también cambió más tarde a zstd como algoritmo de compresión predeterminado para el generador de ramdisk inicial mkinitcpio . ^{[ 32 ]}

El 15 de junio de 2020, Zstandard se implementó en la versión 6.3.8 del formato de archivo zip con el códec número  93, dejando obsoleto el códec número  20 anterior, que se implementó en la versión 6.3.7, publicada el 1 de junio. ^{[ 33 ] [ 34 ]}

El 31 de octubre de 2023 se agregó compatibilidad oficial con Zstd para compresión/descompresión al Explorador de Windows en Windows 11 (mediante el paquete de actualización KB5031455).

En marzo de 2024, Google Chrome versión 123 (y navegadores basados ​​en Chromium como Brave o Microsoft Edge ) agregaron soporte para zstd en el encabezado HTTPContent-Encoding . ^{[ 35 ]} En mayo de 2024, Firefox versión 126.0 agregó soporte para zstd en el encabezado HTTPContent-Encoding . ^{[ 36 ]}

La implementación de referencia está licenciada bajo la licencia BSD , publicada en GitHub . ^{[ 37 ]} Desde la versión 1.0, publicada el 31 de agosto de 2016, ^{[ 38 ]} tuvo una concesión adicional de derechos de patente. ^{[ 39 ]}

A partir de la versión 1.3.1, publicada el 20 de agosto de 2017, ^{[ 40 ]} esta concesión de patente fue eliminada y la licencia se cambió a una licencia dual BSD + GPLv2. ^{[ 41 ]}

• LZ4 (algoritmo de compresión) : un miembro rápido de la familia LZ77.
• LZFSE : un algoritmo similar utilizado por Apple desde iOS 9 y OS X 10.11, y que se convirtió en código abierto el 1 de junio de 2016.
• Zlib
• Brotli – también integrado en los navegadores
• Gzip : una de las herramientas de compresión más utilizadas.

• Sitio web oficial
• zstd en GitHub
• 7zip con Zstandard en GitHub
• " Compresión de datos más pequeña y rápida con Zstandard ", Yann Collet y Chip Turner, 31 de agosto de 2016, Anuncio de Facebook
• The Guardian está utilizando ZStandard en lugar de zlib.