Mesa grande

Bigtable es un servicio de base de datos NoSQL de clave-valor y columnas anchas totalmente administrado para grandes cargas de trabajo analíticas y operativas, que forma parte del portafolio de Google Cloud .

El desarrollo de Bigtable comenzó en 2004. ^{[ 1 ]} Actualmente lo utilizan varias aplicaciones de Google, como Google Analytics , ^{[ 2 ]} la indexación web, ^{[ 3 ]} MapReduce , que se usa a menudo para generar y modificar datos almacenados en Bigtable, ^{[ 4 ]} Google Maps , ^{[ 5 ]} la búsqueda de Google Libros , "Mi historial de búsqueda", Google Earth , Blogger.com , el alojamiento de Google Code , YouTube , ^{[ 6 ]} y Gmail . ^{[ 7 ]} Las razones de Google para desarrollar su propia base de datos incluyen la escalabilidad y un mejor control de las características de rendimiento. ^{[ 8 ]}

Apache HBase y Cassandra son algunos de los proyectos de código abierto más conocidos que se inspiraron en Bigtable. Bigtable ofrece API compatibles con HBase y Cassandra .

El 6 de mayo de 2015, se lanzó una versión pública de Bigtable como parte de Google Cloud bajo el nombre de Cloud Bigtable. ^{[ 2 ]}

A abril de 2024, Bigtable gestiona más de 10 exabytes de datos y atiende más de 7 mil millones de solicitudes por segundo. ^{[ 9 ]} Desde su lanzamiento, Google anunció varias actualizaciones para Bigtable, incluyendo compatibilidad con SQL , vistas materializadas incrementales , índices secundarios globales y escalabilidad automatizada. ^{[ 10 ]}

Bigtable es uno de los ejemplos prototípicos de un almacén de columnas anchas . Asigna dos valores de cadena arbitrarios (clave de fila y clave de columna) y una marca de tiempo (por lo tanto, una asignación tridimensional) a una matriz de bytes arbitraria asociada. No es una base de datos relacional y se puede definir mejor como un mapa ordenado multidimensional disperso y distribuido. ^{[ 3 ] : 1} Está construido sobre Colossus ( Google File System ), Chubby Lock Service , SSTable (almacenamiento estructurado en registros como LevelDB ) y algunas otras tecnologías de Google . Bigtable está diseñado para escalar al rango de petabytes en "cientos o miles de máquinas, y para que sea fácil agregar más máquinas [al] sistema y comenzar a aprovechar automáticamente esos recursos sin ninguna reconfiguración". ^{[ 11 ]} Por ejemplo, la copia de la web de Google se puede almacenar en un bigtable donde la clave de fila es una URL invertida de dominio , y las columnas describen varias propiedades de una página web, con una columna en particular que contiene la página en sí. La columna de página puede contener varias versiones con marca de tiempo que describen diferentes copias de la página web, con la fecha y hora de su obtención. Cada celda de una tabla grande puede tener cero o más versiones de los datos con marca de tiempo. Otra función de la marca de tiempo es permitir tanto el control de versiones como la eliminación de datos obsoletos.

Las tablas se dividen en múltiples tabletas : los segmentos de la tabla se dividen en ciertas claves de fila de modo que cada tableta tenga un tamaño de unos cientos de megabytes o unos pocos gigabytes. Una tabla grande es similar a un grupo de trabajadores de MapReduce, ya que cientos o miles de fragmentos de tabletas pueden ser atendidos por cientos o miles de servidores de BigTable. Cuando el tamaño de la tabla amenaza con crecer más allá de un límite especificado, las tabletas pueden comprimirse utilizando el algoritmo BMDiff ^{[ 12 ] [ 13 ]} y el algoritmo de compresión Zippy ^{[ 14 ]} conocido públicamente y de código abierto como Snappy ^{[ 15 ]} , que es una variación menos óptima en cuanto a espacio de LZ77 , pero más eficiente en términos de tiempo de computación. Las ubicaciones en el GFS de las tabletas se registran como entradas de base de datos en múltiples tabletas especiales, que se denominan tabletas "META1". Las tablas META1 se encuentran consultando la tabla "META0", que normalmente reside en un servidor propio, ya que los clientes suelen consultarla para conocer la ubicación de la tabla "META1", la cual contiene la respuesta sobre la ubicación de los datos. Al igual que el servidor maestro de GFS, el servidor META0 no suele ser un cuello de botella, puesto que el tiempo de procesamiento y el ancho de banda necesarios para descubrir y transmitir las ubicaciones de META1 son mínimos, y los clientes almacenan en caché las ubicaciones de forma intensiva para minimizar las consultas.

• Chang, Fay; Dean, Jeffrey; Ghemawat, Sanjay; Hsieh, Wilson C.; Wallach, Deborah A.; Burrows, Mike; Chandra, Tushar; Fikes, Andrew; Gruber, Robert E. (2006). Bigtable: Un sistema de almacenamiento distribuido para datos estructurados (PDF) . 7.º Simposio USENIX sobre diseño e implementación de sistemas operativos (OSDI'06). Seattle, WA.

• Bigtable: Un sistema de almacenamiento estructurado distribuido , WashingtonVídeo , archivado del original el 18 de abril de 2011 , recuperado el 11 de julio de 2006..
  • UWTV , archivado del original (vídeo) el 15 de junio de 2006..
  • Hitchcock, Andrew, Bigtable de Google (notas sobre la presentación oficial) , consultado el 29 de julio de 2007..
• Carr, David F (6 de julio de 2006), "Cómo funciona Google" , Baseline.
• "¿Está condenada la base de datos relacional?", Read-write web , 12 de febrero de 2009, archivado del original el 10 de noviembre de 2012..