SAP IQ

Con el lanzamiento de SP08, los números de versión se modificaron para alinearse con los de SAP HANA y reflejar la integración continua del producto con SAP HANA. El título de la versión, SP03, es una continuación de SP02 y abarca todas las plataformas no afectadas por esta versión.

Con la llegada del big data , SAP IQ se ha integrado con SAP HANA para ofrecer una plataforma de análisis distribuida en memoria. Existen tres aplicaciones y casos de uso principales que buscan aprovechar las fortalezas de SAP IQ en cuanto a escalabilidad y rendimiento como EDW y procesador de big data, al tiempo que utilizan la velocidad en memoria de SAP HANA para la generación de informes operativos:

Solución SAP-NLS para SAP BW(/4) todas las versiones

En este escenario, los datos de SAP Enterprise Resource Planning (ERP) se transfieren a SAP HANA, que actúa como un almacén de datos operacionales para su análisis inmediato. Una vez analizados, los datos se integran en SAP IQ mediante mecanismos de almacenamiento en línea cercano (como se describió anteriormente). Aquí, SAP IQ actúa como un almacén de datos empresarial que recibe datos de diversas fuentes tradicionales (como bases de datos OLTP y sistemas de archivos) y del Almacén de Datos Operacionales (ODS) de SAP HANA ^{[ 7 ].}

Q - el instalador fácil para SAP IQ

Cuando se utiliza SAP IQ como EDW, también se puede complementar con la tecnología en memoria de HANA. Entre los usos comunes se incluyen los informes de planificación y análisis que requieren procesamiento OLTP simultáneo. En este caso, los datos fluyen de SAP IQ a SAP HANA. ^{[ 7 ]} SAP BusinessObjects BI permite obtener visibilidad en ambas plataformas.

La orientación por columnas tiene varias ventajas. ^{[ 8 ]} Si se realiza una búsqueda de elementos que coincidan con un valor específico en una columna de datos, solo es necesario acceder a los objetos de almacenamiento correspondientes a esa columna dentro de la tabla. Una base de datos tradicional basada en filas tendría que leer toda la tabla, de arriba abajo. Otra ventaja es que, cuando se indexa correctamente, un valor que tendría que almacenarse una vez en cada fila de datos en una base de datos tradicional se almacena solo una vez, y en SAP IQ, se utiliza un índice de n bits para acceder a los datos. ^{[ 9 ]} El uso de índices de n bits y la indexación por niveles permiten una mayor compresión y cargas por lotes incrementales rápidas.

Además, el almacenamiento basado en columnas permite que SAP IQ comprima los datos de manera eficiente sobre la marcha. ^{[ 10 ]}

• 
  Almacén de columnas SAP IQ

Antes de SAP IQ 16, cada página de datos se estructuraba como una matriz de celdas de tamaño fijo, por lo que todos los valores tenían el mismo tipo de datos . Si bien este enfoque de almacenamiento es eficiente para datos estructurados y de longitud fija, no se aplica a los datos más no estructurados y de tamaño variable que se observan hoy en día. Para combatir la ineficiencia del almacenamiento y almacenar datos de tamaño variable con un mínimo de espacio desperdiciado, cada página se compone de celdas de tamaño variable que se empaquetan de forma compacta; la arquitectura de almacenamiento en columnas admite un número variable de celdas por página y varios formatos de página dentro de una columna. SAP IQ también aplica algoritmos de compresión Lempel-Ziv-Welch (LZW) ^{[ 11 ]} a cada página de datos cuando se escribe en el disco, para reducir significativamente el volumen de datos. ^{[ 12 ]}

Los mapas de bits se utilizan para índices secundarios. ^{[ 11 ]}

• 
  Indexación de SAP IQ

SAP IQ cuenta con un marco de procesamiento masivamente paralelo (MPP) basado en un entorno de recursos compartidos que admite el procesamiento distribuido de consultas. La mayoría de los demás productos compatibles con MPP suelen basarse en entornos sin recursos compartidos . La ventaja de los recursos compartidos radica en su mayor flexibilidad en cuanto a la variedad de consultas que se pueden optimizar, especialmente para equilibrar las necesidades de muchos usuarios concurrentes. La desventaja es que, en casos extremos, la competencia entre procesadores para acceder a un grupo de almacenamiento compartido (generalmente una red de área de almacenamiento) puede generar contención de E/S , lo que afecta al rendimiento de las consultas.[12]

Sin embargo, la arquitectura de almacenamiento de SAP IQ mencionada anteriormente permite que las capas de computación y almacenamiento se escalen de forma independiente entre sí, y también permite que estos recursos se aprovisionen bajo demanda para una mejor utilización sin reestructurar la base de datos subyacente.

SAP IQ utiliza una arquitectura de cuadrícula en clúster, compuesta por clústeres de servidores SAP IQ, o Multiplex. Estos clústeres se utilizan para escalar el rendimiento ante un gran número de consultas concurrentes o de alta complejidad. Esta arquitectura se basa en una arquitectura de recursos compartidos, donde todos los nodos de cómputo interactúan con el mismo almacenamiento compartido y las consultas pueden distribuirse entre todos ellos. El Multiplex cuenta con un nodo coordinador que gestiona el catálogo de la base de datos y coordina las escrituras transaccionales en el almacenamiento. Otros nodos pueden ser de solo lectura o de lectura y escritura, como el nodo coordinador. La infraestructura de almacenamiento puede implementarse con diversas tecnologías que permiten compartir recursos entre los nodos del Multiplex.

Esta arquitectura tiene múltiples usos, incluyendo el balanceo de carga y los almacenes de datos virtuales elásticos. El balanceo de carga se logra mediante el motor de consultas SAP IQ, que aumenta o disminuye dinámicamente el paralelismo en respuesta a los cambios en la actividad del servidor. Existe una conmutación por error automática si un nodo deja de participar en una consulta, y otros nodos retoman el trabajo originalmente asignado al nodo fallido para que la consulta pueda completarse. En el lado del cliente, la compatibilidad con balanceadores de carga externos garantiza que las consultas se inicien en servidores físicos de forma equilibrada para eliminar cuellos de botella. Los nodos físicos en el Multiplex se pueden agrupar en "servidores lógicos", lo que permite aislar las cargas de trabajo entre sí (por motivos de seguridad o balanceo de recursos); se pueden agregar máquinas a estos servidores según cambie la demanda. El objetivo de la arquitectura de cuadrícula es permitir la resiliencia incluso durante transacciones globales.

• 
  Arquitectura multiplex de SAP IQ
• 
  Caso de uso de multiplexación de SAP IQ

El motor de carga de SAP IQ se puede utilizar para carga incremental por lotes, carga concurrente de baja latencia y carga masiva (con archivos de datos tanto del cliente como del servidor). El proceso de carga masiva permite que se produzcan varios procesos de carga simultáneamente, si las cargas son de tablas diferentes. Los datos se pueden cargar desde otras bases de datos, así como desde archivos. El versionado de instantáneas a nivel de página permite cargas y consultas concurrentes, con bloqueos únicamente a nivel de tabla. Con SAP Replication Server, ahora mejorado para optimizar las cargas en SAP IQ, las transacciones se compilan en el menor conjunto de operaciones posible, y luego se realizan cargas masivas por micro-lotes en SAP IQ, lo que da la apariencia de cargas continuas en tiempo real.

El cargador masivo ahora realiza todas las operaciones en paralelo para aprovechar al máximo todos los núcleos del servidor, eliminar cuellos de botella y mantener todos los subprocesos productivos, en lugar de serializar el proceso. El proceso de carga sigue siendo de dos fases: primero, se leen los datos sin procesar y se crean índices de punto flotante, y segundo, se crean índices secundarios, pero todo se ejecuta en paralelo. Los índices de grupo alto, en los que se basa el optimizador de consultas para obtener información sobre qué columnas/filas contienen qué valores de datos, ahora están estructurados como un conjunto de niveles, que aumentan a medida que se desciende en la pirámide.

Por último, SAP IQ introduce un almacén Delta de versiones a nivel de fila (RLV) optimizado para escritura, que permite cargas de datos de alta velocidad y una rápida disponibilidad de los datos para los usuarios. Este almacén utiliza índices mínimos y compresión, con bloqueo a nivel de fila para escritura concurrente, su propio registro de transacciones y solo permite la adición de datos. Funciona como complemento del almacén principal, cargando los datos a alta velocidad en el almacén RLV y migrándolos posteriormente al almacén principal, donde se fusionan periódicamente. Para el usuario, no parece que haya dos entidades separadas en funcionamiento, y las consultas operan de forma transparente en ambos almacenes. Para aprovechar esta funcionalidad, los usuarios pueden especificar tablas de base de datos de uso frecuente como tablas RLV.

• 
  Motor de carga de SAP IQ

SAP IQ ofrece API de consulta basadas en estándares ANSI SQL puros (con pocas restricciones), que incluyen soporte para OLAP y búsqueda de texto completo. Los procedimientos almacenados son compatibles con los dialectos ANSI SQL y Transact-SQL, y pueden ejecutarse de forma programada o inmediata. Además, existen controladores de base de datos para diversos lenguajes de programación como Java, C/C++, PHP, Perl, Python, Ruby y ADO.Net.

SAP IQ es un motor de análisis que puede consultar datos estructurados y no estructurados y combinar los resultados. SAP IQ introdujo un nuevo índice de texto y una cláusula SQL "contains" para facilitar la búsqueda de términos dentro de un bloque de texto no estructurado. Las alianzas de SAP Sybase con proveedores permiten la ingesta de diversos formatos binarios de archivos de texto en SAP IQ y la creación de índices de texto para ellos. Estos índices de texto preparan los datos para que las aplicaciones de análisis de texto de nivel superior realicen búsquedas de texto completo dentro de SAP IQ mediante sentencias SELECT. La sintaxis SELECT puede ser utilizada por aplicaciones que realizan tokenización, categorización y análisis de texto adicionales.

El análisis integrado en la base de datos se basa en el concepto fundamental de mantener los algoritmos analíticos cerca de los datos para un mayor rendimiento. El marco de extensibilidad, denominado "análisis integrado en la base de datos", permite integrar funciones analíticas dentro del motor de base de datos de SAP IQ, trasladando el análisis a la base de datos en lugar de a un entorno especializado externo, un proceso propenso a errores y más lento. Existen funciones predefinidas disponibles de forma nativa y a través de socios de SAP IQ que proporcionan bibliotecas especializadas de estadística y minería de datos que se integran con SAP IQ. Este marco aumenta la capacidad de SAP IQ para realizar procesamiento y análisis avanzados, ya que los datos no tienen que trasladarse fuera de la base de datos a un entorno especializado para su análisis. Todos los datos y resultados obtenidos pueden compartirse a través del sistema de gestión de bases de datos (DBMS) y se pueden adquirir fácilmente mediante una interfaz SQL. Mediante funciones definidas por el usuario (UDFS), los socios pueden ampliar el DBMS con cálculos personalizados, proporcionando bibliotecas especializadas de estadística y minería de datos que se integran directamente con SAP IQ para mejorar su rendimiento en el procesamiento y análisis avanzados.

SAP IQ ofrece varias funcionalidades, tanto incluidas en el producto base como licenciables por separado, para ayudar a proteger la seguridad de los datos del usuario. Una nueva funcionalidad introducida en IQ 16 es el Control de Acceso Basado en Roles (RBAC), que permite la separación de funciones y respeta el principio del mínimo privilegio , al permitir la división de operaciones privilegiadas en conjuntos detallados que se pueden otorgar individualmente a los usuarios. El producto base incluye: usuarios, grupos y permisos, autoridades de administración de bases de datos, políticas de inicio de sesión de usuarios, cifrado de bases de datos, seguridad de la capa de transporte, IPv6, control de acceso basado en roles y auditoría de bases de datos. Las funcionalidades adicionales forman parte de una opción licenciable denominada opción de seguridad avanzada: cifrado FIPS, autenticación Kerberos, autenticación LDAP y cifrado de columnas de la base de datos.

• 
  Seguridad de SAP IQ

Como parte de ILM, SAP IQ permite a los usuarios crear múltiples DBSpaces (unidades lógicas de almacenamiento/contenedores para objetos de base de datos) para organizar los datos. Esto se puede usar para separar datos estructurados o no estructurados, agruparlos según su antigüedad y valor, o particionar datos de tablas. Los DBSpaces también se pueden marcar como de solo lectura para permitir la comprobación de coherencia y la copia de seguridad puntuales. Otra aplicación de ILM es la capacidad de particionar tablas y ubicar partes móviles a lo largo de la estructura de almacenamiento y las capacidades de copia de seguridad; esto permite un proceso de gestión de almacenamiento donde los datos circulan por niveles de almacenamiento, pasando de un almacenamiento más rápido y costoso a uno más lento y económico a medida que envejecen, particionando los datos según su valor.

La configuración multiplex proporciona escalabilidad y alta disponibilidad para los nodos de cómputo, ya que un nodo coordinador multiplex puede conmutar a un nodo coordinador alternativo en caso de fallo.

La copia de seguridad virtual de SAP IQ también permite a los usuarios realizar copias de seguridad de datos rápidamente y, junto con la tecnología de replicación de almacenamiento, los datos se copian continuamente para que las copias de seguridad se realicen rápidamente y en segundo plano. Una vez completadas las copias de seguridad virtuales, se pueden verificar mediante pruebas y restauración; los datos empresariales se pueden copiar para desarrollo y pruebas. Luego, solo queda completar la copia de seguridad en un punto en el tiempo transaccionalmente coherente. SAP afirma que la recuperación ante desastres es más sencilla con un enfoque de MPP de todo compartido. La herramienta de modelado SAP Sybase PowerDesigner permite a los usuarios crear un modelo ILM que se puede implementar con SAP IQ. En un modelo ILM se pueden definir tipos de almacenamiento, DBSpaces y fases del ciclo de vida, y la herramienta se puede utilizar para generar informes y crear scripts de creación y movimiento de particiones.

SAP IQ ofrece federación con el sistema de archivos distribuidos de Hadoop (HDFS), un marco de trabajo muy popular para big data, lo que permite a los usuarios empresariales seguir almacenando datos en Hadoop y aprovechar sus ventajas. La integración se logra de cuatro maneras diferentes, según las necesidades del usuario: federación del lado del cliente, ETL, datos y consultas. La federación del lado del cliente combina datos de IQ y Hadoop a nivel de aplicación cliente, mientras que la federación ETL permite cargar datos de Hadoop en los esquemas de almacenamiento columnar de IQ. Los datos de HDFS también se pueden combinar con los de IQ en tiempo real mediante consultas SQL desde IQ, y, por último, los resultados de los trabajos MapReduce se pueden combinar con los datos de IQ, también en tiempo real.

SAP Control Center reemplaza a Sybase Central como herramienta gráfica web para la administración y el monitoreo. SAP Control Center permite monitorear servidores y recursos SAP Sybase (nodos, multiplex) desde cualquier ubicación, así como monitorear el rendimiento e identificar tendencias de uso. La aplicación web cuenta con una arquitectura de complementos de múltiples niveles, compuesta por un servidor y agentes basados ​​en productos que transfieren el rendimiento de SAP Sybase al servidor de Control Center.

SAP IQ incluye controladores de aplicaciones web que facilitan el acceso desde diversos entornos de programación y ejecución Web 2.0 (Python, Perl, PHP, .Net, Ruby). Mediante la federación de consultas con otras bases de datos, los desarrolladores pueden crear aplicaciones que interactúen con múltiples fuentes de datos simultáneamente (así como con plataformas de bases de datos de otros proveedores). Se pueden crear tablas proxy de federación que se asignan a tablas en bases de datos externas; estas se materializan como tablas en memoria, pero se puede interactuar con ellas como si residieran dentro de SAP IQ. De esta forma, las fuentes de datos se pueden combinar en una vista unificada.