proliferación de datos

La proliferación de datos se refiere a la enorme cantidad de datos , estructurados y no estructurados, que las empresas y los gobiernos generan a un ritmo sin precedentes, así como a los problemas de usabilidad que surgen al intentar almacenar y gestionar dichos datos. Si bien originalmente se relacionaba con los problemas de la documentación en papel, la proliferación de datos se ha convertido en un problema importante en el almacenamiento primario y secundario de datos en computadoras.

Si bien el almacenamiento digital se ha abaratado, los costos asociados, desde la energía eléctrica hasta el mantenimiento, y desde los metadatos hasta los motores de búsqueda, no han seguido el ritmo de la proliferación de datos. Aunque la energía necesaria para mantener una unidad de datos ha disminuido, el costo de las instalaciones que albergan el almacenamiento digital ha tendido a aumentar. ^{[ 1 ]}

La proliferación de datos se ha documentado como un problema para las fuerzas armadas estadounidenses desde agosto de 1971, en particular en lo que respecta a la documentación excesiva presentada durante la adquisición de sistemas de armas importantes. ^{[ 3 ]} Los esfuerzos para mitigar la proliferación de datos y los problemas asociados a ella continúan. ^{[ 4 ]}

El problema de la proliferación de datos está afectando a todos los ámbitos del comercio como resultado de la disponibilidad de dispositivos de almacenamiento de datos relativamente económicos. Esto ha facilitado enormemente el volcado de datos a almacenamiento secundario inmediatamente después de que haya pasado su período de utilidad. Esto oculta un problema que podría afectar gravemente la rentabilidad de las empresas y el funcionamiento eficiente de los servicios de salud, las fuerzas policiales y de seguridad, los gobiernos locales y nacionales, y muchos otros tipos de organizaciones. ^{[ 2 ]} La proliferación de datos es problemática por varias razones:

• Dificultad para encontrar y recuperar información. En Xerox , los empleados tardan, en promedio, más de una hora a la semana en encontrar documentos impresos, lo que supone un coste de 2152 dólares anuales para su gestión y almacenamiento. Para empresas con más de 10 empleados, este tiempo aumenta a casi dos horas semanales, con un coste de 5760 dólares anuales. ^{[ 5 ]} En grandes redes de almacenamiento de datos primario y secundario, los problemas para encontrar datos electrónicos son análogos a los problemas para encontrar datos impresos.
• Pérdida de datos y responsabilidad legal cuando los datos están desorganizados, no se replican adecuadamente o no se pueden encontrar con prontitud. En abril de 2005, Ameritrade Holding Corporation informó a 200.000 clientes actuales y anteriores que una cinta con información confidencial se había perdido o destruido durante el transporte. En mayo del mismo año, Time Warner Incorporated informó que 40 cintas con datos personales de 600.000 empleados actuales y anteriores se habían perdido en ruta a un centro de almacenamiento. En marzo de 2005, un juez de Florida que conocía de una demanda de 2.700 millones de dólares contra Morgan Stanley emitió una " orden de inferencia adversa " contra la empresa por "abuso grave y deliberado de sus obligaciones de descubrimiento". El juez citó a Morgan Stanley por encontrar repetidamente cintas extraviadas de mensajes de correo electrónico mucho después de que la empresa hubiera afirmado haber entregado todas esas cintas al tribunal. ^{[ 6 ]}
• Mayores necesidades de personal para gestionar recursos de almacenamiento de datos cada vez más caóticos.
• Redes más lentas y un rendimiento deficiente de las aplicaciones debido al exceso de tráfico, ya que los usuarios buscan repetidamente el material que necesitan. ^{[ 2 ]}
• Alto costo en términos de los recursos energéticos necesarios para operar el hardware de almacenamiento. Un sistema de 100 terabytes costará hasta $35,040 al año para funcionar, sin contar los costos de refrigeración. ^{[ 7 ]}

• Aplicaciones que aprovechan mejor la tecnología moderna
• Reducción de datos duplicados (especialmente los causados ​​por el movimiento de datos).
• Mejora de las estructuras de metadatos
• Mejora de las estructuras de transferencia de archivos y almacenamiento.
• Educación y disciplina del usuario ^{[ 3 ]}
• La implementación de soluciones de gestión del ciclo de vida de la información para eliminar la información de bajo valor lo antes posible antes de colocar el resto en un almacenamiento a largo plazo gestionado activamente en el que se pueda acceder a ella de forma rápida y económica. ^{[ 2 ]}

• Respaldo
• Gestión de activos digitales
• Almacenamiento en disco
• Sistema de gestión documental
• Gestión jerárquica del almacenamiento
• Gestión del ciclo de vida de la información
• Repositorio de información
• Almacenamiento de datos en cinta magnética
• Calendario de retención