La gestión de los datos es una cuestión compleja y si bien los data lakes son una opción, cuando se manejan grandes volúmenes de datos y estructuras complejas y se necesita agilidad y autonomía, el uso de un data mesh se torna la mejor alternativa.
En una malla de datos, los datos se organizan por un dominio de negocio específico (ventas, customer service, marketing, entre otros). Los equipos que utilizan los datos son propietarios de los mismos y los gestionan, generando una plataforma de datos de autoservicio.
¿Cómo funciona el modelo data mesh y cuáles son sus ventajas? Te lo contamos en esta nota.
Data Mesh: ¿qué es y cómo funciona?
Data mesh (o malla de datos) es una arquitectura de datos en la cual los registros están organizados en dominios específicos y son gestionados por equipos autónomos.
En este sentido, el término “malla” hace referencia a la forma en que los dominios pueden utilizar productos de datos de otros dominios con facilidad y, al mismo tiempo, remite a cómo los datos de múltiples dominios se pueden combinar para obtener una visión más holística.
Al descentralizar la propiedad de los datos, asignándolos a diferentes dominios empresariales y proporcionándoles una plataforma de datos de autoservicio y un gobierno informático federado, permite que los dominios desarrollen, desplieguen y operen servicios de datos de manera más autónoma. De esta manera la democratización de los datos se vuelve realidad.
También brinda la posibilidad de que modelen sus datos teniendo en cuenta sus necesidades específicas, aportando una experiencia de datos coherente y unificada.
Si bien ambos enfoques se utilizan para gestionar datos, data lake y data mesh no son conceptos idénticos.
Un lago de datos es un repositorio que contiene todos los datos estructurados y no estructurados de una organización y es gestionado por un equipo de datos. En aquellas empresas con necesidades de datos pequeñas o que no varían demasiado con el tiempo, constituye una solución eficiente para almacenar datos sin procesar a cualquier escala.
No obstante, cuando estas necesidades cambian frecuentemente, o bien existen múltiples dominios de negocio, cada uno con sus propios casos de uso de datos, operar con data lakes no es la mejor opción.
Por un lado, el equipo de datos podría tener que lidiar con problemas de infraestructura y, al intentar proporcionar información, tener que localizar los datos en dominios específicos.
Por el otro, podrían producirse inconvenientes en términos de calidad de datos y gobierno de datos, dificultando la generación de insights fiables.
La arquitectura data mesh se revela entonces como la alternativa ideal para empresas con estructuras complejas, ya que democratiza la información, facilitando el acceso a los datos a todos los usuarios de la organización.
Los 4 principios básicos del Data Mesh
El Data Mesh se basa en 4 principios fundamentales que otorgan agilidad y escalabilidad, sin descuidar la calidad y la integridad de los datos en toda la organización.
-
Propiedad y arquitectura de datos descentralizada e impulsada por el dominio
Este principio establece que el poder y la propiedad de los datos debe asignarse a los diferentes equipos de dominio (marketing, operaciones, ventas, customer service, etc.) a fin de que estos desplieguen y gestionen sus propios servicios de datos analíticos y operativos.
De esta forma, cada área posee los datos de un extremo a otro, modelándolos en función de sus requerimientos específicos y asegurándose de que puedan ser entregados a equipos de otros dominios para que los aprovechen como productos.
Esto nos lleva a la segunda directriz que marca este abordaje: tratar los datos como un producto.
-
Datos como producto
Implica que los propietarios de cada dominio son responsables de garantizar que los datos sean de alta calidad, fiables y actualizados para que puedan ser utilizables por otros equipos de dominio y por los consumidores.
-
Infraestructura de datos de autoservicio como plataforma
De acuerdo con este principio, las empresas deben contar con un equipo de ingeniería de infraestructuras que proporcione las herramientas y los sistemas necesarios para que cada equipo de dominio consuma datos de otros dominios y, al mismo tiempo, desarrolle, despliegue y gestione de forma autónoma productos de datos interoperables.
Así, permite dejar de lado las habilidades de nicho y las tecnologías complejas.
-
Gobernanza federada
Este principio determina que, si bien se debe contar con una autoridad centralizada de gobierno de datos, la gobernanza también debe ser integrada en los procesos de cada dominio.
Solo así, cada dominio tendrá autonomía y podrá garantizar el cumplimiento de las normativas vigentes asegurando la privacidad de los datos.
Cuáles son los beneficios de aplicar una malla de datos
En aquellas organizaciones que tienen un alto grado de modificaciones de data, incertidumbre en sus necesidades de datos o múltiples dominios de negocio con casos de uso y transformaciones específicas, utilizar una malla de datos aporta numerosas ventajas.
Menor deuda técnica y procesamiento de datos más veloz
Cuando la infraestructura de datos es centralizada, no solo aumenta su complejidad, sino que se torna necesaria la colaboración para mantenerla, lo que genera deuda técnica. Asimismo, a medida que los datos se acumulan en un repositorio, ralentizan el sistema general.
Por el contrario, distribuir los datos por propiedad de dominio reduce las tensiones técnicas del data lake o del data warehouse, permitiendo que los equipos satisfagan mejor las demandas de los consumidores.
Además, el equipo de plataforma de datos puede otorgar API a los dominios para así reducir el volumen de solicitudes individuales.
Mayor fluidez
Si el equipo de datos centralizado tiene que dedicarse a problemas complejos de infraestructura, se generan cuellos de botella y su actividad se ralentiza.
Esto no ocurre en la malla de datos, en el cual no solo no tiene que abocarse a estas cuestiones, sino, tampoco localizar datos en diferentes dominios para obtener conocimientos específicos que arrojen insights accionables.
Democratización de los datos
Esta arquitectura de datos facilita las aplicaciones de autoservicio a partir de diversas fuentes de datos. Esto permite que el acceso a los registros vaya más allá de los data scientists, data engineers y desarrolladores, alcanzando a todos los usuarios empresariales pertenecientes a cada dominio.
Al democratizar la información, se reducen los silos de datos y los cuellos de botella operativos, propiciando una toma de decisiones optimizada y brindando la posibilidad de que los recursos más técnicos se aboquen a las actividades que mejor se ajustan a sus skills.
Mayor cumplimiento y seguridad
En enfoque descentralizado del data mesh exige la aplicación de un control de acceso a cada producto de datos asociado a un determinado dominio. Esto redunda en prácticas de gobernanza más robustas, garantizando el compliance.
Los datos de registro y seguimiento aseguran la observabilidad en el sistema y permiten a los auditores saber qué usuarios accedieron a datos específicos y con qué frecuencia lo hicieron.
Rentabilidad
Esta arquitectura distribuida promueve la data warehouse en la nube y la recopilación de datos en tiempo real. El almacenamiento cloud potencia la rentabilidad, ya que permite que equipos de datos creen clústeres según sus necesidades, pagando únicamente por el almacenamiento requerido.
Además, mejora la visibilidad de los costes de storage, lo que, a su vez, permite una mejor asignación de presupuestos y recursos.
Interoperabilidad
En este modelo, los propietarios de los datos acuerdan por adelantado cómo se deben normalizar los campos de datos independientes del dominio, lo que facilita la interoperabilidad.
De esta forma, cuando un equipo de dominio estructura sus respectivos conjuntos de datos, aplica las normas previamente establecidas a fin de permitir la vinculación de datos entre dominios de forma rápida, sencilla y fiable.
A la vez, la coherencia entre dominios permite a los consumidores de datos una interacción más simple con las API y un desarrollo adecuado de aplicaciones para satisfacer las necesidades empresariales.
¿Tu empresa tiene una estructura de datos compleja y maneja grandes volúmenes de data? El enfoque data mesh puede ayudarte a agilizar y eficientizar la gestión de los datos. Si querés más información sobre este modelo, envianos un mensaje.