La ingesta de datos nativa desde SAP se presenta muchas veces como un gran desafío para numerosos usuarios de la plataforma. Esto se debe al enfoque que SAP propone en términos de procesamiento transaccional y arquitectura de la solución.

Entonces, ¿cómo pueden los clientes SAP recopilar, transformar y mover datos directamente desde este software hacia un sistema de almacenamiento, como una base de datos o un data warehouse? Qlik es la respuesta a este interrogante.

Tanto si se opera con licencias SAP runtime o SAP Enterprise de HANA, si usa Oracle o si ya  utiliza SAP HANA, Qlik cuenta con conexiones a nivel de base de datos y conexiones basadas en aplicaciones que incluyen tecnología líder en captura de datos.

En este artículo, te contamos más sobre estos endpoints que permiten que los datos de SAP estén disponibles en tiempo real allí donde los usuarios los necesitan.

Los desafíos de la ingesta nativa de datos desde SAP

Como mencionamos, la ingesta de datos nativa desde SAP presenta un conjunto único de desafíos asociados a la complejidad y la naturaleza específica de la arquitectura de este sistema de gestión.

Entre los retos principales, podemos encontrar:

• Estructuras de datos complejas. Los sistemas SAP almacenan datos en tablas complejas e interconectadas. Navegar por estas estructuras y comprender las relaciones entre los puntos de datos no es tarea fácil. Esto dificulta la extracción de datos en un formato utilizable para análisis u otras aplicaciones.
• Diversidad de tipos de datos. Desde registros transaccionales hasta ajustes de configuración y datos maestros: la plataforma gestiona una amplia gama de tipos de datos. Integrar estos diversos tipos de data requiere que las empresas cuenten con sólidas capacidades de transformación de datos.
• Cambios dinámicos de esquema. Los sistemas SAP pueden experimentar cambios frecuentes de esquema debido a actualizaciones, personalizaciones o modificaciones de los procesos de negocio. Esto requiere que los procesos de ingesta de datos sean altamente adaptables y capaces de gestionar estructuras de datos en constante evolución.
• Gestión de grandes volúmenes de datos. Los sistemas SAP suelen gestionar cantidades masivas de datos, especialmente en grandes empresas. La ingesta y el procesamiento eficientes de estos volúmenes pueden sobrecargar los canales de datos y requerir recursos considerables.
• Uso de tecnologías propietarias. El software utiliza tecnologías propietarias y métodos de acceso a datos, lo que a menudo limita la compatibilidad con las herramientas estándar de ingesta de datos y requiere conectores especializados o desarrollados a medida.
• Acceso y seguridad de los datos. Los sistemas SAP cuentan con estrictos controles de seguridad y permisos de acceso. Si bien garantizar la seguridad de los accesos durante la ingesta es fundamental, puede añadir complejidad al proceso.
• Personalización. Esta plataforma suele estar altamente personalizada. Además de generar estructuras de datos y requisitos de extracción únicos para cada implementación, esto dificulta la creación de soluciones genéricas de ingesta de datos.

Conectores a nivel de base de datos y conectores a nivel de aplicación de Qlik, poderosas armas para integrar eficientemente los datos desde SAP

Con amplia trayectoria en el mercado y un amplio conocimiento en materia de extracción de datos, Qlik cuenta con conexiones a nivel de base de datos y conexiones basadas en aplicaciones que hacen posible una ingesta de datos desde SAP efectiva y fiable.

A continuación, te proponemos analizar en profundidad estos endpoints.

Conectores a nivel de base de datos

Si bien todos estos endpoints cuentan con una tecnología de captura de datos modificados (CDC, por sus siglas en inglés) líder en el mercado, es importante conocer cuáles son los diferentes conectores a nivel de database basados en aceleradores y en registros para SAP HANA desarrollados por Qlik.

Base de datos SAP HANA con captura de datos basada en aceleradores

El método basado en aceleradores es el más recomendado para aquellos clientes de SAP que necesitan replicar datos desde una base de datos HANA. Además, es fácil de gestionar, completo y de bajo impacto.

Basándose en las recomendaciones de los clientes —que incluyen compañías de diversos sectores, como telecomunicaciones, salud, oil & gas y manufactura— Qlik ha implementado diversas mejoras en este endpoint en los últimos dos años.

Base de datos SAP HANA con captura de datos basada en registros

A pesar de que la CDC basada en registros es una opción popular entre los usuarios de SAP para replicar datos de bases de datos HANA debido a su supuesta velocidad, es fundamental reconocer los desafíos inherentes que presenta este enfoque, asociados a la arquitectura de SAP HANA.

De hecho, SAP ha emitido una recomendación en contra del uso de la CDC basada en registros para HANA, debido a las diferencias significativas en la forma en que se escriben los datos en el registro en comparación con otras bases de datos, lo que introduce complejidades en la gestión de los cambios.

Aunque desde Qlik han trabajado en algunas de estas complejidades en este endpoint —como el manejo de IDs de fila únicos, la ausencia de registro complementario y la falta de campos clave en los registros—, existen varias limitaciones que se deben tener en cuenta para asegurar la compatibilidad con el entorno personalizado de cada usuario.

Sin embargo, una característica distintiva es que la CDC basada en registros es compatible tanto con licencias empresariales como con licencias de tiempo de ejecución de HANA.

Base de datos RDBMS, con captura de datos de cambios basada en registros compatible con bases de datos subyacentes que no sean de SAP (Oracle, SQL o dB2)

Qlik, con su amplia experiencia con bases de datos basadas en registros, también tiene una solución para la ingesta de datos nativa desde SAP de aquellos clientes que aún no se han migrado a HANA y tienen su data alojadas en un Sistema de Gestión de Bases de Datos Relacionales (RDBMS), como Oracle, SQL y DB2.

Este endpoint utiliza el lector estándar basado en registros para esas bases de datos subyacentes con algunos complementos SAP a fin de ayudar a identificar y descifrar los datos en esos objetos propietarios.

Conectores a nivel de aplicación

Ahora pasemos a los conectores a nivel de la capa de aplicación, puntos finales específicos para clientes que cuentan con una licencia de tiempo de ejecución de HANA o bien desean utilizar funciones basadas en aplicaciones SAP para la extracción de datos.

Conector extractor

Un extractor es el método que SAP utiliza para transferir datos a un sistema SAP Business Warehouse (BW). Es posible acceder a él mediante una API desarrollada a medida.

Es importante saber que no hay restricciones para los extractores. Hoy en día, es posible usarlos libremente, y muchos clientes de SAP lo hacen porque operan en entornos de SAP antiguos y están cambiando de BW a una solución nueva.

En estos casos, las compañías pueden utilizar los extractores que habitualmente usan, incluso aquellos personalizados (creados por ellas), para transferir los datos a un almacén externo a SAP, como Snowflake, o a un datalake, como Databricks. ¿Lo mejor? Los datos se transfieren en un formato con el cual las empresas ya están familiarizadas.

Conector ODP

SAP Operational Data Provisioning (ODP) representa la evolución de la extracción ABAP tradicional. Esta API de framework, accesible directamente mediante RFC, ofrece mayor complejidad y funcionalidad en comparación con los extractores convencionales, dada la proliferación de objetos propietarios en las aplicaciones SAP actuales.

ODP es compatible con una amplia gama de fuentes, incluyendo extractores, vistas CDS, vistas de información HANA y proveedores BW, y también facilita la replicación a nivel de tabla a través de SLT.

Su popularidad entre los clientes de SAP ha crecido gracias a su versatilidad y velocidad, lo que ha impulsado a muchos proveedores a desarrollar conectores ODP.

Conector OData

SAP OData, el último endpoint lanzado por Qlik, es compatible compatibilidad con todos los objetos que soportan ODP.

SAP recomienda utilizar OData como un método más fiable en lugar de conectarse directamente a la API de ODP. OData actúa como un intermediario, permitiendo invocar ODP a través de un servicio web seguro (HTTPS).

Sin embargo, los clientes de SAP enfrentan ciertos desafíos y limitaciones, como la necesidad de configuración adicional en SAP y otras consideraciones asociadas a la memoria y la paginación. Por eso, el rendimiento de OData generalmente no iguala al de un endpoint ODP directo.

Al igual que con ODP, otros proveedores también están desarrollando sus endpoints OData. Sin embargo, los clientes de Qlik valoran esta solución ya que, además de ser pionera en el mercado, ofrece optimización para funcionar con CDC. De hecho, el conector OData de Qlik ofrece un rendimiento casi idéntico a ODP en modo CDC después de una carga completa.

Considerando lo expuesto, podemos afirmar que Qlik desarrolla soluciones que empoderan a sus clientes, simplificando la ingesta de datos nativa desde SAP y permitiendo que obtengan mucho más valor de todos sus registros. ¿Querés saber más sobre sus conectores? ¡Hablemos!