Arquitectura de malla de datos en la era de la IA

Una arquitectura de malla de datos puede ayudar a una organización a habilitar la IA a escala democratizando el acceso a los datos para el análisis de dominios específicos y asignando a expertos en la materia la responsabilidad de cada área temática. Esto mejora la calidad de los datos para una IA mejor y más precisa.

En una arquitectura de malla de datos, los dominios empresariales poseen y conservan sus datos como un producto de datos, garantizando su calidad para el análisis y los ejercicios de IA, como la formación de modelos. Esto permite a los analistas y científicos de datos acceder a datos de alta calidad, completamente limpios y bien documentados para algoritmos de IA y aprendizaje automático, garantizando la precisión y reduciendo fenómenos como las alucinaciones de modo de lenguaje grande (LLM).

Profundicemos en este concepto explorando la arquitectura de malla de datos.

• ¿Qué es una malla de datos?
  
• ¿Por qué malla de datos?
• Principios de la malla de datos
  
• Casos de uso de la malla de datos
• Ventajas de la malla de datos
• Diferencia entre dash mesh, data lake y data fabric
• Implantación de una arquitectura de malla de datos
• Futuro de la arquitectura de malla de datos

¿Qué es una malla de datos?

Las empresas, grandes y pequeñas, tienen varios sistemas que gestionan el día a día. Por ejemplo, en la mayoría de las organizaciones puede haber un CRM para las operaciones de ventas, un ERP para la gestión financiera, un sistema de asistencia para la atención al cliente, una aplicación de gestión de proyectos para el desarrollo de productos, etc. Es crucial obtener una visión precisa del rendimiento de todas las operaciones para determinar que los datos de su empresa son exactos, mejorar los procesos y agilizar los flujos de trabajo.

El problema es que sólo determinadas áreas de negocio conocen sus datos en profundidad, lo que provoca problemas de análisis y control de calidad. Esto puede socavar los esfuerzos de los almacenes de datos tradicionales que combinan datos de múltiples dominios en un repositorio de datos centralizado, porque no se puede garantizar la limpieza y la integridad de los datos. Y como es cada vez más evidenteCuanto menos fiables sean los datos, menos eficaz y precisa será la IA.

Una arquitectura de malla de datos supera estos retos distribuyendo los datos específicos de cada dominio en repositorios analíticos individuales y descentralizando la propiedad de cada dominio. De este modo se garantiza que los datos de cada dominio se examinan a fondo y son aptos para su uso inmediato por sus respectivos expertos. También unifica fuentes dispares mediante directrices de intercambio de datos y normas de gobernanza gestionadas de forma centralizada.

Con una arquitectura de malla de datos, las funciones empresariales mantienen el control sobre los datos utilizados para el análisis y gobiernan cómo se accede a sus datos. Aunque una malla de datos puede añadir complejidad al ecosistema de datos de una empresa, también aporta eficiencia al mejorar el acceso a los datos y su calidad, lo que alimenta mejor análisis y la IA.

Una arquitectura de malla de datos distribuye los datos específicos de cada dominio bajo la propiedad de cada área de negocio.

¿Por qué malla de datos?

La arquitectura de malla de datos surgió de la necesidad de ir más allá de las implantaciones tradicionales de almacenes de datos centralizados o lagos de datos, que suelen adolecer de algunos problemas fundamentales:

• Establecer una única fuente de verdad puede ser casi imposible con los enfoques tradicionales, ya que la huella de datos de la mayoría de las empresas está fragmentada en muchos sistemas dispares con diversos formatos.
• En la era actual de la IA, la demanda de un acceso más fácil a los datos de dominio es cada vez mayor, al igual que el volumen de datos en la mayoría de las empresas. Esto crea retos a la hora de gestionar el almacenamiento y el acceso.
• Los científicos y analistas de datos necesitan acceder a los datos en los formatos que necesitan. Los datos deben ser fiables y no requerir profundos conocimientos técnicos ni intervención informática.

Tratar de resolver estos problemas cargando todos los datos en un sistema analítico centralizado crea sus propios problemas: ¿Cómo garantizar la calidad y actualidad de los datos? ¿Cómo se gestiona la rápida evolución de los datos? ¿Cómo gestionar las nuevas fuentes y formatos de datos?

La arquitectura de malla de datos intenta superar estos retos distribuyendo la propiedad de los datos y los sistemas analíticos entre los expertos del dominio. De este modo, la huella de los datos analíticos se distribuye en sistemas de dominio específico más pequeños y manejables, más fáciles de gestionar individualmente. Como cada experto conoce mejor sus datos y tiene acceso directo a ellos con la malla de datos, la calidad y la integridad de los datos mejoran, lo que permite utilizarlos de forma más fiable y sencilla en toda la organización.

Principios de la malla de datos

La arquitectura de malla de datos sigue estos principios generales:

1. Los datos deben ser propiedad de sus dominios.
Los dominios empresariales conservan y gestionan sus datos para el análisis y la IA en lugar de delegar la propiedad en equipos centralizados.

2. Los datos deben ser autoservicio para los usuarios autorizados.
Para democratizar el acceso a los datos, las organizaciones deben simplificarlo mediante la abstracción y hacerlo lo más fácil posible sin sacrificar una seguridad estricta.

3. La gobernanza de los datos debe estar distribuida.
Las políticas de gestión de datos, almacenamiento y seguridad se gestionan de forma centralizada, pero cada dominio es propietario de sus productos de datos, lo que garantiza flexibilidad y una estructura repetible.

4. Los datos deben tratarse como un producto (DaaP).
El cumplimiento de estos principios garantiza productos de datos examinados, de alta calidad y totalmente depurados, a los que los consumidores autorizados pueden acceder y utilizar fácilmente. En una arquitectura de malla de datos, los dominios son propietarios de sus productos de datos, que proceden de fuentes analíticas y de bases de datos. sistemas operativosY al seguir unas directrices de gestión normalizadas, hacen que esos datos sean más precisos y accesibles en toda la organización.

Casos de uso de la malla de datos

Una arquitectura de malla de datos puede dar soporte a muchos casos de uso diferentes en una amplia variedad de sectores y verticales. Algunos ejemplos son:

Ciclo de vida del cliente
Gracias al acceso a los datos de los sistemas que abarcan la interacción con el cliente, las organizaciones obtienen una visión de 360 grados de la trayectoria del cliente, individualmente y en conjunto, en tiempo real. Esto permite a la empresa crear inteligencia artificial que capte a los clientes más rápidamente con ofertas y sugerencias pertinentes y examine las razones de los éxitos o fracasos en la captación general.

IA y aprendizaje automático
Los científicos de datos y los analistas avanzados pueden acceder fácilmente a varias fuentes para alimentar modelos de IA y aprendizaje automático, con la seguridad de que los datos son limpios, actuales y precisos.

Supervisión del entorno IoT
La arquitectura distribuida en una malla de datos permite que los despliegues de dispositivos IoT sean gestionados y supervisados más eficazmente por las unidades de negocio individuales responsables de las aplicaciones IoT.

Política de seguridad de datos distribuida
La seguridad de los datos es primordial en un modelo distribuido como la malla de datos. Al dividir la responsabilidad de las políticas de seguridad de los productos de datos entre dominios individuales, el acceso a los datos se restringe de forma más adecuada en función de la experiencia del dominio. Aunque más detallada en general, también es más estricta que una política de seguridad centralizada y única en su granularidad.

Ventajas de la malla de datos

Son muchas las ventajas de una arquitectura de malla de datos, entre ellas algunas de las más importantes son:

Agilidad de datos
La arquitectura de malla de datos reduce la dependencia de los recursos informáticos para acceder a los datos de varios sistemas, lo que permite a los equipos empresariales concentrarse en la calidad y ofrecer productos de datos con mayor rapidez.

Datos de mayor calidad para la IA
Dado que cada experto gestiona los datos, su conocimiento más profundo de su contexto y significado se traduce en datos mejor conservados y más fiables, lo que es fundamental para reducir la imprecisión de los resultados y el riesgo de errores. LLM alucinaciones.

Disponibilidad de datos más rápida
Uno de los principales cuellos de botella del enfoque de lago de datos centralizado es el tiempo que se tarda en añadir y actualizar las fuentes, por no hablar de gestionarlas y facilitar su disponibilidad. Con una arquitectura de malla de datos, la entrega de productos de datos se produce en paralelo en lugar de en secuencia y, por tanto, es más rápida.

Políticas centrales estándar de gobernanza de datos
Debido a su principio básico de seguir un conjunto centralizado de estrictas directrices de gobernanza, la arquitectura de malla de datos establece una norma para la custodia de datos en toda la organización, al tiempo que proporciona autonomía a cada dominio.

Estas son sólo algunas de las razones por las que muchas organizaciones adoptan una arquitectura de malla de datos.

Diferencia entre dash mesh, data lake y data fabric

Al evaluar las necesidades de datos e IA de su organización, inevitablemente oirá hablar de enfoques y arquitecturas alternativos, como un lago de datos o un tejido de datos. He aquí las diferencias en pocas palabras:


Lago de datos
A lago de datos es un término que se refiere a un repositorio centralizado de datos procedentes de diversas fuentes y sistemas, donde se recogen y almacenan todos los datos para un análisis agregado que abarca las fuentes de varios dominios. Un lago de datos a veces precede y alimenta a un almacén de datos, un repositorio de datos centralizado más refinado.

Una diferencia fundamental entre un lago de datos y una malla de datos es que el primero está centralizado, lo que lo hace masivo y complejo de gestionar -normalmente requiere equipos dedicados- y difícil de mantener actualizado.

Tejido de datos
A tejido de datos es similar en concepto a una malla de datos, salvo que emplea un marco técnico en lugar de un marco organizativo. Un tejido de datos utiliza un repositorio de datos centralizado, pero aísla el acceso a cada dominio y área temática mediante estrictos protocolos de restricción de acceso. Esto alivia la necesidad de que los dominios establezcan sus propios repositorios específicos de dominio y elimina su implicación directa con el gestión diaria de datos.

La principal diferencia entre una malla de datos y un tejido de datos es que la primera no es un modelo distribuido, sino un marco técnico. En cambio, el segundo se centra en los dominios organizativos como propietarios de los datos.

Implantación de una arquitectura de malla de datos

Debido a su modelo descentralizado, una plataforma de procesamiento y análisis de datos operativos en tiempo real es la implementación óptima para la arquitectura de malla de datos.

Este blog explica cómo Couchbase Capella™ proporciona una base de datos en la nube ideal para implementaciones de malla de datos. En pocas palabras, Couchbase proporciona:

Una base de datos NoSQL en la nube polivalente
Couchbase Capella es una base de datos multipropósito, amigable para desarrolladores, con caché integrada, almacenamiento de documentos JSON, soporte SQL, búsqueda, eventing y sincronización móvil. Con estas capacidades combinadas, una organización puede sustituir otras tecnologías de bases de datos operativas por una única solución, simplificando la malla de datos al reducir las entradas operativas.

Información operativa instantánea
Capella también ofrece un servicio de análisis en columnas para el análisis en tiempo real de cualquier dato operativo. Los resultados pueden proporcionar información en tiempo real sin pasar por la malla de datos. Esto acelera la malla en general, ya que Capella puede utilizarse para el análisis instantáneo de datos operativos específicos y luego alimentar esos resultados a la malla para un análisis más profundo y AI.

Pasar más rápido de la información a la acción
Capella ofrece funciones de eventos y funciones definidas por el usuario, lo que permite programar rutinas que capturan información analítica de la malla y la devuelven a las capas operativas. Si los algoritmos de aprendizaje automático de una malla de lago de datos desarrollan una nueva clasificación de clientes basada en datos históricos, se puede trasladar esa clasificación a la aplicación de ventas para un marketing específico.

Desarrollo acelerado
Capella permite a una organización consolidar su dispersión de datos operativos en una base de datos fácil de usar para los desarrolladores. La compatibilidad con SQL++ (SQL para JSON), los SDK enriquecidos, los servicios gestionados por el backend y una DBaaS totalmente alojada reducen las fricciones de desarrollo: no hay quebraderos de cabeza de instalación o mantenimiento de servidores ni nuevos lenguajes que los desarrolladores deban aprender.

Futuro de la arquitectura de malla de datos

Impulsados por la digitalización en todos los sectores y acelerados por las inversiones y el desarrollo de la IA, los productos de datos serán cada vez más importantes para la mayoría de las empresas, y la adhesión a sus principios de propiedad y conservación de dominios puede sentar las bases de futuras innovaciones impulsadas por los datos.

Pruebe Couchbase Capella y compruebe lo fácilmente que puede encajar en su iniciativa de arquitectura de malla de datos.

También puede ver nuestro centro y estos recursos adicionales para aprender más sobre conceptos generales relacionados con la arquitectura de datos:

¿Qué es una plataforma de datos?
Ejemplos de arquitecturas para aplicaciones intensivas en datos
4 Patrones para Arquitectura de Microservicios en Couchbase