Articulo de referencia

OpenIO

OpenIO ofrecía almacenamiento de objetos para una amplia gama de aplicaciones de alto rendimiento. [ 1 ] OpenIO fue fundada en 2015 por Laurent Denel ( CEO ), Jean-François Smig...

OpenIO ofrecía almacenamiento de objetos para una amplia gama de aplicaciones de alto rendimiento. [ 1 ] OpenIO fue fundada en 2015 por Laurent Denel ( CEO ), Jean-François Smigielski ( CTO ) y otros cinco cofundadores; aprovechó software de código abierto , desarrollado desde 2006, [ 2 ] basado en una tecnología de cuadrícula que permitía un comportamiento dinámico y admitía hardware heterogéneo. En octubre de 2017, OpenIO completó una ronda de financiación de 5 millones de dólares. [ 3 ] En julio de 2020, OpenIO fue adquirida por OVH [ 4 ] y retirada del mercado para convertirse en la tecnología central de la oferta de almacenamiento de objetos de OVHcloud . [ 5 ]

Software

OpenIO es un almacén de objetos definido por software que admite S3 y puede implementarse localmente , en la nube o en el borde , en cualquier combinación de hardware. Ha sido diseñado desde el principio para ofrecer rendimiento y rentabilidad a cualquier escala, [ 6 ] y se ha optimizado para Big Data , HPC e IA . [ 7 ]

OpenIO almacena objetos en una estructura plana dentro de un directorio masivamente distribuido con indirecciones , lo que permite que la ruta de consulta de datos sea independiente del número de nodos y que el rendimiento no se vea afectado por el aumento de la capacidad. Los servidores están organizados como una cuadrícula de nodos masivamente distribuidos , donde cada nodo participa en los servicios de directorio y almacenamiento, lo que garantiza que no haya un único punto de fallo y que los nuevos nodos se descubran automáticamente y estén disponibles de inmediato sin necesidad de reequilibrar los datos. [ 8 ]

El software se basa en una tecnología que garantiza una ubicación óptima de los datos según métricas en tiempo real y permite agregar o eliminar dispositivos de almacenamiento con optimización automática del rendimiento y el impacto de la carga . [ 9 ] [ 10 ] Para la protección de datos, OpenIO cuenta con replicación síncrona y asíncrona con múltiples copias y una implementación de codificación de borrado basada en Reed-Solomon que puede implementarse en un centro de datos o en clústeres geodistribuidos o extendidos . [ 11 ] [ 12 ]

El software cuenta con una función que captura todos los eventos que ocurren en el clúster y puede transmitirlos a la pila o a las aplicaciones que se ejecutan en los nodos OpenIO. Esto permite la computación basada en eventos directamente en la infraestructura de almacenamiento. [ 13 ] [ 14 ]

El código fuente abierto está disponible en Github y tiene licencia AGPL3 para el código del servidor y LGPL3 para el código del cliente.

Actuación

OpenIO afirmó en 2019 haber alcanzado una velocidad de escritura de 1,372 Tbit/s (171 GB/s) en un clúster de 350 máquinas físicas. [ 15 ] El escenario de referencia, realizado en condiciones de producción con hardware estándar (servidores comunes con HDD de 7200 rpm ), consistió en realizar una copia de seguridad de un datalake Hadoop de 38 PB mediante el comando DistCp. [ 16 ] Este nivel de rendimiento marcó, según los analistas, [ 17 ] la llegada de una nueva generación de tecnologías de almacenamiento de objetos orientadas al alto rendimiento y la hiperescalabilidad.

Véase también

Referencias

  1. "Descripción general del almacenamiento de objetos de OpenIO" . OpenIO . Archivado del original el 7 de mayo de 2018. Consultado el 7 de mayo de 2018 .
  2. Nicholas, Philippe (15 de julio de 2016). "The History Boys: Almacenamiento de objetos... desde el principio" . The Register .
  3. Dillet, Romain (24 de octubre de 2017). "OpenIO recauda 5 millones de dólares para crear tu propio Amazon S3 en cualquier dispositivo de almacenamiento" . TechCrunch .
  4. "Con la adquisición de OpenIO, la ambición de OVHcloud es crear la mejor oferta de almacenamiento de objetos del mercado" . OVHcloud . 22 de julio de 2020.
  5. "Almacenamiento de objetos - OVHcloud" . OVHcloud .
  6. Mellor, Chris (05-12-2015). "El objetivo de Openio es abrir el espacio de almacenamiento de objetos" . The Register .
  7. "OpenIO | Almacenamiento de objetos de alto rendimiento para Big Data e IA" . OpenIO . Archivado del original el 20 de diciembre de 2018. Consultado el 7 de mayo de 2018 .
  8. ^ "Conceptos básicos de OpenIO" . Documentación de OpenIO .
  9. "Almacenamiento de objetos OpenIO para Big Data" . OpenIO . Archivado del original el 30/09/2019 . Consultado el 30/09/2019 .
  10. "Por qué diseñamos un almacén de objetos con conciencia" . Blog de OpenIO . 18 de julio de 2017. Archivado del original el 1 de octubre de 2019. Consultado el 1 de octubre de 2019 .
  11. «Funciones de gestión de datos de OpenIO» . Documentación de OpenIO .
  12. «Políticas de almacenamiento de OpenIO» . Documentación de OpenIO .
  13. Delaporte, Guillaume (17 de mayo de 2017). "Indexación simple de metadatos a través de Grid para aplicaciones" . Blog de OpenIO . Archivado del original el 30 de diciembre de 2017. Recuperado el 7 de mayo de 2018 .
  14. Delaporte, Guillaume (2017-06-07). "Detección de patrones en imágenes a gran escala utilizando Tensorflow y OpenIO GridForApps" . Blog de OpenIO . Archivado del original el 14 de enero de 2018. Consultado el 7 de mayo de 2018 .
  15. Mellor, Chris (15 de octubre de 2019). "OpenIO 'resuelve' el problema de la hiperescalabilidad del almacenamiento de objetos" . Blocks & Files .
  16. "Terabit Challenge | OpenIO Object Storage" . OpenIO . Archivado del original el 22/11/2019 . Consultado el 22/11/2019 .
  17. Enrico, Signoretti (8 de noviembre de 2019). "S3, acceso a archivos y alto rendimiento... este no es el antiguo almacenamiento de objetos" . Gigaom . Archivado del original el 9 de noviembre de 2019.
  • Documentación de OpenIO
  • Repositorio de OpenIO en GitHub