Data Mesh versus Data Fabric: ¿cuál es el adecuado para su organización?

Tener acceso en tiempo real a datos relevantes ayuda a las organizaciones a optimizar su productividad y fortalecer su posicionamiento competitivo. El fácil acceso a los datos impulsa estos resultados al promover la colaboración y permitir que los equipos utilicen eficazmente la información que recopilan. Sin embargo, la recopilación de cantidades tan masivas de información crea desafíos en la gestión de datos que las organizaciones deben encontrar una manera de solucionar.

Las estructuras de datos y la malla de datos son dos soluciones comunes a este problema. ¿Cuál es la diferencia entre los dos enfoques? ¿Y cuál es el adecuado para su organización? Vamos a profundizar en.

Más en ciencia de datos Búsqueda de árboles de Monte Carlo: una guía

La arquitectura de malla de datos es una estrategia de descentralización, lo que significa que los datos se organizan en un dominio empresarial específico, con el objetivo de lograr coherencia entre múltiples áreas comerciales. Se trata principalmente de un proceso dirigido por humanos que involucra a expertos en la materia que etiquetan la información, crean reglas e identifican quiénes son los contribuyentes. Estas son las personas que trabajan en el equipo de datos y utilizan su experiencia para crear los campos correctos que se conectan con los procesos comerciales. El objetivo es tratar de mejorar la comprensión de todos sobre cómo consumir datos a nivel empresarial o cómo descubrir qué ocurre dentro de sus datos que puede estar afectando su negocio.

En un enfoque de malla de datos, en lugar de depender de una plataforma centralizada, una empresa tiene acceso a numerosos repositorios. Cada uno de ellos está dedicado a un dominio o departamento comercial particular, como adquisiciones. Las mallas de datos también ayudan en el cambio hacia entornos nativos de la nube. Esto se debe a que, cuando maneja mejor los datos que manejan su negocio, puede comprender el contexto de lo que se necesita migrar o lo que podría necesitar consolidarse en un movimiento a la nube. Las empresas también pueden ampliar fácilmente el marco de malla de datos a medida que cambian sus requisitos de gestión de datos.

Una estructura de malla de datos funciona con lagos de datos, almacenes de datos y otros métodos convencionales de almacenamiento de datos. Las ventajas de las arquitecturas de malla de datos incluyen un mejor control de acceso y gobernanza de la información (estos se aplican directamente a áreas como el cumplimiento y la regulación). También eliminan muchos cuellos de botella de información, que son típicos cuando las empresas administran sus datos con métodos centralizados y obsoletos.

Las ventajas de los diseños de malla de datos resultan atractivas para las grandes empresas que manejan conjuntos de datos extremadamente complejos. Una razón para esto es que las grandes empresas normalmente tienen personas en roles y responsabilidades que son responsables de los principales objetos de datos maestros. Para estas empresas, sus procesos comerciales dependen en gran medida de que los datos sean correctos. Una malla de datos funciona bien aquí.

Sin embargo, para las empresas más pequeñas que procesan datos menos complicados, puede haber opciones más prácticas fuera del enfoque de malla de datos.

Un enfoque de tejido de datos es más automatizado que el de malla de datos. Utiliza inteligencia artificial y aprendizaje automático en lugar de depender de expertos en datos.

A diferencia de la malla de datos, la estructura de datos está destinada a respaldar la integración de un extremo a otro de diversos canales de datos. Estas canalizaciones son un método en el que se ingieren datos sin procesar de varias fuentes de datos y luego se trasladan a un almacén de datos, como un almacén de datos. Este tipo de arquitectura permite integraciones mediante el uso de sistemas automatizados y tecnologías de inteligencia de vanguardia, como calidad de datos, gestión de datos maestros, gestión de metadatos y herramientas de IA/ML.

Los administradores de datos pueden unificar muchas aplicaciones y sistemas utilizando un enfoque de estructura de datos. La integración de diferentes fuentes de datos mejora la accesibilidad de la información, fomenta una mayor seguridad y permite a las empresas proteger mejor a los consumidores.

Un enfoque de estructura de datos también tiene la ventaja de permitir el análisis del acceso y uso de los datos en toda la empresa. Las sugerencias basadas en patrones de uso, implementaciones de reglas y disponibilidad de conjuntos de datos seleccionados pueden acortar el tiempo necesario para descubrir los datos específicos que busca un miembro del equipo. La inteligencia que se esconde detrás de una malla de datos puede resaltar áreas de debilidad en los metadatos, solicitando a los usuarios empresariales que realicen aportaciones o sugiriendo otros activos de datos que pueden ser relevantes para un usuario.

Las empresas pueden eliminar los silos de datos, deshacerse de los atascos de información, mejorar la accesibilidad de los datos y fomentar la colaboración departamental o en equipo mediante la implementación de una arquitectura de estructura de datos.

Al utilizar una arquitectura de estructura de datos, las empresas pueden analizar la información de manera más integral, produciendo conocimientos profundos que pueden ayudar a los líderes a tomar decisiones y aprovechar nuevas oportunidades de crecimiento.

Es probable que más empresas empiecen a adoptar el enfoque del tejido de datos. Sin avanzar hacia una estrategia de automatización, no podrán mantenerse al día ni aprovechar todo el valor potencial de sus sistemas y datos. Es más, con la llegada de las plataformas de IA generativa, las empresas pueden lograr una aceleración significativa en la implementación de dichas soluciones, acortando el tiempo necesario para construir una arquitectura de tejido de datos inteligente y verdaderamente adaptable.

Dicho esto, hay algunas situaciones en las que una malla de datos podría ser más adecuada para su organización. El tiempo y la experiencia necesarios para construir una malla de datos son menores. Puede comenzar a generar valor rápidamente implementando una arquitectura de malla de datos y configurar su organización para poder agregar nuevas tecnologías de IA generativa que puedan ampliar la funcionalidad hacia una implementación completa de la estructura de datos.

La elección del camino a seguir también depende de la disponibilidad de recursos, la experiencia de su personal y los productos de gestión de datos que ya se utilizan. Definir su caso de negocio y los resultados esperados le permitirá elegir el enfoque correcto y definir un camino claro hacia la implementación. En otras palabras, establezca sus indicadores clave de desempeño y decida qué está tratando de lograr primero, y luego evalúe qué enfoque funcionará mejor para su organización.

Teorías de los datos Los peligros de demasiados datos

IBM ha estimado que el costo anual de datos de mala calidad en Estados Unidos supera los 3 billones de dólares. Las organizaciones necesitan una arquitectura de gestión de datos ágil y sólida para superar los posibles obstáculos que plantea la enorme cantidad de información que se consume y crea hoy en día. Esto les permitirá descubrir los valiosos conocimientos empresariales ocultos en toda esa información. La estructura de datos y la malla de datos son dos enfoques populares, cada uno con su propio conjunto de beneficios. Cuál elija dependerá de la madurez de sus datos, su presupuesto, los beneficios comerciales y las necesidades de su organización.