Almacenamiento direccionable por contenido

Los sistemas de archivos tradicionales generalmente rastrean los archivos según su nombre . En medios de acceso aleatorio como los disquetes , esto se logra mediante un directorio que consta de una lista de nombres de archivo y punteros a los datos. Los punteros hacen referencia a una ubicación física en el disco, normalmente utilizando sectores . En sistemas más modernos y formatos más grandes como los discos duros , el directorio se divide en muchos subdirectorios, cada uno de los cuales rastrea un subconjunto de la colección total de archivos. Los subdirectorios se representan a su vez como archivos en un directorio padre, lo que produce una jerarquía u organización en forma de árbol. La serie de directorios que conducen a un archivo en particular se conoce como "ruta". ^{[ 1 ]}

En el contexto de los sistemas de almacenamiento de acceso aleatorio (CAS), estos enfoques tradicionales se denominan "direccionados por ubicación", ya que cada archivo se representa mediante una lista de una o más ubicaciones, la ruta y el nombre del archivo, en el almacenamiento físico. En estos sistemas, el mismo archivo con dos nombres diferentes se almacenará como dos archivos en el disco y, por lo tanto, tendrá dos direcciones. Lo mismo ocurre si el mismo archivo, incluso con el mismo nombre, se almacena en más de una ubicación en la jerarquía de directorios. Esto los hace poco ideales para un archivo digital , donde cualquier información única debe almacenarse solo una vez. ^{[ 2 ]}

A medida que el concepto de directorio jerárquico se generalizó en los sistemas operativos , especialmente a finales de la década de 1980, este tipo de patrón de acceso comenzó a ser utilizado por sistemas completamente ajenos. Por ejemplo, la World Wide Web utiliza un sistema similar de ruta/nombre de archivo, conocido como URL , para apuntar a los documentos. El mismo documento en otro servidor web tiene una URL diferente a pesar de tener el mismo contenido. Del mismo modo, si una ubicación existente cambia de alguna manera, si cambia el nombre del archivo o el servidor cambia de nombre de dominio , el documento deja de ser accesible. Esto da lugar al problema común de la degradación de enlaces . ^{[ 2 ]}

Aunque el almacenamiento basado en la ubicación se utiliza ampliamente en muchos campos, no siempre fue así. Anteriormente, la forma más común de recuperar datos de una gran colección era mediante algún tipo de identificador basado en el contenido del documento. Por ejemplo, el sistema ISBN se utiliza para generar un número único para cada libro. Si se realiza una búsqueda web de "ISBN 0465048994", se mostrará una lista de ubicaciones del libro " Why Information Grows" sobre el tema del almacenamiento de información. Si bien se devolverán varias ubicaciones, todas se refieren a la misma obra, y el usuario puede elegir la que le resulte más apropiada. Además, si alguna de estas ubicaciones cambia o desaparece, el contenido se puede encontrar en cualquiera de las otras. ^{[ 2 ]}

Los sistemas CAS intentan generar automáticamente resultados similares a los ISBN en cualquier documento. Para ello, utilizan una función hash criptográfica aplicada a los datos del documento, lo que produce lo que a veces se conoce como una "clave" o "huella digital". Esta clave está estrechamente vinculada al contenido exacto del documento; por ejemplo, añadir un espacio al final del archivo generará una clave diferente. En un sistema CAS, el directorio no asigna nombres de archivo a ubicaciones, sino que utiliza las claves. ^{[ 2 ]}

Esto ofrece varias ventajas. Por un lado, cuando se envía un archivo al CAS para su almacenamiento, la función hash genera una clave y luego comprueba si esa clave ya existe en el directorio. Si existe, el archivo no se almacena, ya que el que ya está almacenado es idéntico. Esto permite a los sistemas CAS evitar fácilmente la duplicación de datos. Además, como la clave se basa en el contenido del archivo, recuperar un documento con una clave determinada garantiza que el archivo almacenado no se haya modificado. La desventaja de este enfoque es que cualquier cambio en el documento produce una clave diferente, lo que hace que los sistemas CAS no sean adecuados para archivos que se editan con frecuencia. Por todas estas razones, los sistemas CAS se utilizan normalmente para archivar documentos mayoritariamente estáticos ^{[ 2 ]} y a veces se les conoce como «almacenamiento de contenido fijo» (FCS) ^{[ 3 ] .}

Dado que las claves no son legibles para humanos, los sistemas CAS implementan un segundo tipo de directorio que almacena metadatos que ayudan a los usuarios a encontrar un documento. Estos casi siempre incluyen un nombre de archivo, lo que permite utilizar la recuperación clásica basada en el nombre. Pero el directorio también incluye campos para sistemas de identificación comunes como códigos ISBN o ISSN , palabras clave proporcionadas por el usuario, marcas de fecha y hora e índices de búsqueda de texto completo . Los usuarios pueden buscar en estos directorios y recuperar una clave, que luego pueden usar para recuperar el documento en sí. ^{[ 2 ]}

Utilizar un sistema de álgebra computacional (CAS) es muy similar a usar un motor de búsqueda web . La principal diferencia radica en que una búsqueda web generalmente se realiza por temas mediante un algoritmo interno que encuentra contenido relacionado y genera una lista de ubicaciones. Los resultados pueden mostrar el mismo contenido en varias ubicaciones. En un CAS, una búsqueda puede arrojar más de un documento, pero cada uno de ellos será único y se mostrará solo una vez.

Otra ventaja de CAS es que la ubicación física en el almacenamiento no forma parte del sistema de búsqueda. Si, por ejemplo, el catálogo de fichas de una biblioteca indica que un libro se encuentra en el estante 43, compartimento 10, si se reorganiza la biblioteca, es necesario actualizar todo el catálogo. En cambio, el ISBN no cambia y el libro se puede encontrar buscando el estante con esos números. En un ordenador, un archivo en el sistema de archivos DOS , en la ruta A:\myfiles\textfile.txt, apunta al almacenamiento físico del archivo en el subdirectorio myfiles. Este archivo desaparece si se mueve el disquete a la unidad B:, e incluso cambiar su ubicación dentro de la jerarquía del disco requiere actualizar los directorios visibles para el usuario. En CAS, solo cambia la asignación interna de clave a ubicación física, que existe en un único lugar y puede diseñarse para una actualización eficiente. Esto permite mover archivos entre dispositivos de almacenamiento, e incluso entre diferentes soportes, sin necesidad de modificar la recuperación.

Para datos que cambian con frecuencia, el CAS no es tan eficiente como el direccionamiento basado en la ubicación. En estos casos, el dispositivo CAS tendría que recalcular continuamente la dirección de los datos a medida que cambian. Esto resultaría en el almacenamiento de múltiples copias del documento casi idéntico, un problema que el CAS intenta evitar. Además, los directorios de acceso para el usuario tendrían que actualizarse continuamente con estos archivos "nuevos", lo que los saturaría con muchos documentos similares y dificultaría la búsqueda. En cambio, la actualización de un archivo en un sistema basado en la ubicación está altamente optimizada; solo es necesario cambiar la lista interna de sectores, y esta operación ha sido objeto de muchos años de optimización.

Dado que CAS se utiliza principalmente para archivar, la eliminación de archivos suele estar estrictamente controlada o incluso ser imposible bajo el control del usuario. En cambio, la eliminación automática es una función común que elimina todos los archivos con una antigüedad superior a un requisito legalmente definido, por ejemplo, diez años. ^{[ 2 ]}

La forma más sencilla de implementar un sistema CAS consiste en almacenar todos los archivos en una base de datos típica a la que los clientes se conectan para añadir, consultar y recuperar archivos. Sin embargo, las propiedades únicas de la direccionabilidad del contenido hacen que este paradigma sea idóneo para sistemas informáticos en los que múltiples hosts gestionan archivos de forma colaborativa sin una autoridad central, como los sistemas de intercambio de archivos distribuidos , donde la ubicación física de un archivo alojado puede cambiar rápidamente en respuesta a cambios en la topología de la red, y el contenido exacto de los archivos que se van a recuperar es más importante para los usuarios que su ubicación física actual. En un sistema distribuido, los hashes de contenido se utilizan a menudo para búsquedas rápidas de archivos específicos en toda la red, o para ver rápidamente qué datos de un archivo determinado se han modificado y deben propagarse a otros miembros de la red con un mínimo consumo de ancho de banda . En estos sistemas, la direccionabilidad del contenido permite abstraer la topología de red altamente variable de los usuarios que desean acceder a los datos, en comparación con sistemas como la World Wide Web , donde una ubicación consistente de un archivo o servicio es clave para facilitar su uso.

El sistema Centera CAS consta de una serie de nodos en red (normalmente servidores grandes que ejecutan Linux ), divididos entre nodos de almacenamiento y nodos de acceso. Los nodos de acceso mantienen un directorio sincronizado de direcciones de contenido y el nodo de almacenamiento correspondiente donde se puede encontrar cada dirección. Cuando se agrega un nuevo elemento de datos, o blob , el dispositivo calcula un hash del contenido y devuelve este hash como la dirección de contenido del blob. ^{[ 9 ]} Como se mencionó anteriormente, se busca el hash para verificar que no exista contenido idéntico. Si el contenido ya existe, el dispositivo no necesita realizar ningún paso adicional; la dirección de contenido ya apunta al contenido correcto. De lo contrario, los datos se transfieren a un nodo de almacenamiento y se escriben en el medio físico.

Cuando se proporciona una dirección de contenido al dispositivo, este primero consulta el directorio para obtener la ubicación física de dicha dirección. A continuación, recupera la información de un nodo de almacenamiento y recalcula y verifica el hash de los datos. Una vez completado este proceso, el dispositivo puede proporcionar los datos solicitados al cliente. Dentro del sistema Centera, cada dirección de contenido representa varios bloques de datos distintos, así como metadatos opcionales . Cada vez que un cliente añade un bloque a un bloque de contenido existente, el sistema recalcula la dirección de contenido.

Para brindar mayor seguridad de datos, los nodos de acceso de Centera, cuando no se está realizando ninguna operación de lectura o escritura, se comunican constantemente con los nodos de almacenamiento, verificando la presencia de al menos dos copias de cada blob, así como su integridad. Además, pueden configurarse para intercambiar datos con un sistema Centera diferente, por ejemplo, ubicado fuera de las instalaciones, reforzando así las medidas de seguridad contra la pérdida accidental de datos.

IBM ofrece otra versión de CAS, que puede ser basada en software (Tivoli Storage Manager 5.3) o en hardware (IBM DR550). Su arquitectura se diferencia por basarse en un diseño de gestión de almacenamiento jerárquico (HSM), que proporciona mayor flexibilidad, como la compatibilidad con discos WORM y cintas WORM, así como la migración de datos entre discos y cintas WORM. Esto ofrece mayor flexibilidad en situaciones de recuperación ante desastres y permite reducir los costos de almacenamiento al transferir datos de disco a cinta.

Otra implementación típica es iCAS de iTernity. El concepto de iCAS se basa en contenedores. Cada contenedor se identifica mediante su valor hash. Un contenedor almacena un número variable de documentos con contenido fijo. El contenedor es inmutable y el valor hash se mantiene fijo tras el proceso de escritura.

• Venti : Uno de los primeros servidores de almacenamiento con direccionamiento de contenido, ^{[ 10 ]} desarrollado originalmente para Plan 9 de Bell Labs y ahora también disponible para sistemas tipo Unix como parte de Plan 9 de User Space . El primer paso hacia una implementación CAS+ de código abierto es Twisted Storage. ^{[ 11 ]}
• Tahoe Least-Authority File Store : una implementación de código abierto de CAS.
• Git : un sistema de archivos CAS en espacio de usuario . Git se utiliza principalmente como sistema de control de código fuente.
• git-annex : un sistema de sincronización de archivos distribuido que utiliza almacenamiento direccionable por contenido para los archivos que administra. Se basa en Git y enlaces simbólicos para indexar su ubicación en el sistema de archivos.
• Proyecto Honeycomb : una API de código abierto para sistemas CAS. ^{[ 12 ]}
• XAM : una interfaz desarrollada bajo los auspicios de la Storage Networking Industry Association . Proporciona una interfaz estándar para archivar productos y proyectos CAS (y similares). ^{[ 13 ]}
• Perkeep : un proyecto de 2011 para acercar las ventajas del almacenamiento direccionable por contenido a las masas. Está diseñado para una amplia variedad de casos de uso, incluyendo copias de seguridad distribuidas, instantáneas por defecto, un sistema de archivos con control de versiones y el intercambio de archivos descentralizado con control de permisos.
• Irmin: una "biblioteca OCaml para almacenes persistentes con mecanismos integrados de instantáneas, ramificación y reversión"; con los mismos principios de diseño que Git.
• Cassette: una implementación CAS de código abierto para C#/.NET. ^{[ 14 ]}
• Arvados Keep: un sistema de almacenamiento distribuido de código abierto con direccionamiento de contenido. ^{[ 15 ]} Está diseñado para trabajos de ciencia de datos a gran escala y computacionalmente intensivos, como el almacenamiento y procesamiento de datos genómicos.
• Infinit: una plataforma de almacenamiento descentralizada (peer-to-peer) con acceso al contenido, que fue adquirida por Docker Inc.
• Sistema de Archivos Interplanetario (IPFS): un protocolo de distribución de hipermedia entre pares con direccionamiento por contenido.
• casync : una utilidad de software para Linux creada por Lennart Poettering para distribuir imágenes de sistemas de archivos actualizadas frecuentemente a través de Internet. ^{[ 16 ]}
• Snix : un sistema de almacenamiento direccionable por contenido basado en los conceptos y el funcionamiento interno de Nix (gestor de paquetes) .
• Bazel : un sistema de compilación distribuido. Cuando se utiliza la ejecución remota, los archivos fuente y los artefactos se almacenan en un CAS ^{[ 17 ]} .