Architettura della rete di dati nell'era dell'intelligenza artificiale

Un'architettura data mesh può aiutare un'organizzazione ad abilitare l'IA su scala, democratizzando l'accesso ai dati per l'analisi specifica del dominio e assegnando agli esperti del dominio la responsabilità di ogni area tematica. Questo migliora la qualità dei dati per un'intelligenza artificiale migliore e più accurata.

In un'architettura data mesh, i domini aziendali possiedono e curano i propri dati come un prodotto di dati, garantendone la qualità per l'analisi e gli esercizi di IA come l'addestramento dei modelli. Ciò consente agli analisti e ai data scientist di accedere a dati di alta qualità, accuratamente puliti e ben documentati per l'IA e gli algoritmi di apprendimento automatico, garantendo l'accuratezza e riducendo fenomeni come le allucinazioni del Large Language Mode (LLM).

Esaminiamo questo concetto in modo più approfondito esplorando l'architettura della rete di dati.

• Che cos'è una rete di dati?
  
• Perché il data mesh?
• Principi della rete di dati
  
• Casi d'uso della rete di dati
• Vantaggi della rete di dati
• La differenza tra dash mesh, data lake e data fabric
• Implementazione di un'architettura data mesh
• Il futuro dell'architettura data mesh

Che cos'è una rete di dati?

Le imprese, grandi e piccole, hanno diversi sistemi che gestiscono le attività quotidiane. Ad esempio, nella maggior parte delle organizzazioni si possono trovare un CRM per le operazioni di vendita, un ERP per la gestione finanziaria, un sistema di helpdesk per l'assistenza ai clienti, un'applicazione di gestione dei progetti per lo sviluppo dei prodotti, ecc. È fondamentale ottenere una visione accurata delle prestazioni di tutte le operazioni per verificare che i dati dell'azienda siano accurati, migliorare i processi e ottimizzare i flussi di lavoro.

Il problema è che solo specifiche aree aziendali conoscono a fondo i loro dati, il che causa problemi di analisi e di controllo della qualità. Ciò può compromettere i tradizionali sforzi di data warehouse che combinano i dati provenienti da più domini in un repository di dati centralizzato, perché non è possibile garantire la pulizia e l'integrità dei dati. E come è sempre più evidenteQuanto meno attendibili sono i dati, tanto meno efficace e accurata sarà l'IA.

Un'architettura data mesh supera queste sfide distribuendo i dati specifici del dominio a singoli repository analitici e decentralizzando la proprietà di ciascun dominio. In questo modo si garantisce che i dati di ciascun dominio siano accuratamente controllati e adatti all'uso immediato da parte dei rispettivi esperti. Inoltre, unifica fonti diverse attraverso linee guida e standard di governance per la condivisione dei dati gestiti a livello centrale.

Con un'architettura data mesh, le funzioni aziendali mantengono il controllo sui dati utilizzati per l'analisi e regolano le modalità di accesso ai dati. Se da un lato una rete di dati può aggiungere complessità all'ecosistema dei dati di un'azienda, dall'altro porta efficienza migliorando l'accesso e la qualità dei dati, che alimenta analisi migliore e AI.

Un'architettura data mesh distribuisce i dati specifici del dominio sotto la proprietà di ciascuna area aziendale.

Perché il data mesh?

L'architettura data mesh è nata dall'esigenza di andare oltre le tradizionali implementazioni centralizzate di data warehouse o data lake, che tendono a soffrire di alcune sfide fondamentali:

• Stabilire un'unica fonte di verità può essere quasi impossibile con gli approcci tradizionali, perché l'impronta dei dati della maggior parte delle aziende è frammentata in molti sistemi diversi e in vari formati.
• Nell'attuale era dell'intelligenza artificiale, la richiesta di un accesso più semplice ai dati di dominio è in aumento, così come il volume dei dati nella maggior parte delle aziende. Questo crea problemi nella gestione dell'archiviazione e dell'accesso.
• I data scientist e gli analisti devono poter accedere ai dati nei formati richiesti. I dati devono essere affidabili e non devono richiedere conoscenze tecniche approfondite o interventi informatici.

Cercare di risolvere questi problemi caricando tutti i dati in un sistema di analisi centralizzato crea i suoi problemi: Come garantire la qualità e la tempestività dei dati? Come si gestiscono i dati in rapida evoluzione? Come gestire nuove fonti e formati di dati?

L'architettura data mesh cerca di superare queste sfide distribuendo la proprietà dei dati e dei sistemi di analisi agli esperti del settore. In questo modo, l'impronta dei dati analitici viene distribuita su sistemi specifici di dominio più piccoli e gestibili, più facili da gestire individualmente. Poiché ogni esperto di dominio conosce meglio i propri dati e ha accesso diretto ad essi con la rete di dati, la qualità e l'integrità dei dati sono migliorate, consentendo un utilizzo più affidabile e semplice in tutta l'organizzazione.

Principi della rete di dati

L'architettura della rete di dati segue questi principi generali:

1. I dati devono essere di proprietà dei loro domini.
I settori aziendali curano e gestiscono i propri dati per l'analisi e l'intelligenza artificiale, anziché delegarne la proprietà a team centralizzati.

2. I dati devono essere self-service per gli utenti autorizzati.
Per democratizzare l'accesso ai dati, le organizzazioni devono semplificare l'accesso attraverso l'astrazione e renderlo il più facile possibile senza sacrificare la sicurezza.

3. La governance dei dati deve essere distribuita.
Le politiche di gestione, archiviazione e sicurezza dei dati sono gestite centralmente, ma ogni dominio è proprietario dei propri prodotti di dati, garantendo flessibilità e struttura ripetibile.

4. I dati devono essere trattati come un prodotto (DaaP).
L'adesione ai principi di cui sopra garantisce prodotti di dati controllati, di alta qualità e completamente puliti, ai quali i consumatori autorizzati possono accedere e utilizzare facilmente. In un'architettura a rete di dati, i domini possiedono i loro prodotti di dati, che provengono da analisi e da sistemi operativie seguendo linee guida di gestione standardizzate, rendono i dati più precisi e accessibili a tutta l'organizzazione.

Casi d'uso della rete di dati

Un'architettura data mesh può supportare molti casi d'uso diversi in un'ampia gamma di settori e verticali. Alcuni esempi sono:

Ciclo di vita del cliente
Grazie all'accesso ai dati provenienti da sistemi che coprono il coinvolgimento dei clienti, le organizzazioni ottengono una visione a 360 gradi dei viaggi dei clienti, sia a livello individuale che aggregato, in tempo reale. Ciò consente all'azienda di creare un'intelligenza artificiale che coinvolga più rapidamente i clienti con offerte e suggerimenti pertinenti ed esamini le ragioni dei successi o degli insuccessi nel coinvolgimento generale.

IA e apprendimento automatico
I data scientist e gli analisti avanzati possono accedere facilmente a diverse fonti per alimentare i modelli di intelligenza artificiale e di apprendimento automatico, sicuri che i dati siano puliti, aggiornati e accurati.

Monitoraggio dell'ambiente IoT
L'architettura distribuita in una rete di dati consente di gestire e monitorare in modo più efficace le implementazioni di dispositivi IoT da parte delle singole unità aziendali responsabili delle applicazioni IoT.

Politica di sicurezza dei dati distribuiti
La sicurezza dei dati è fondamentale in un modello distribuito come la rete di dati. Suddividendo la responsabilità delle politiche di sicurezza dei prodotti di dati tra i singoli domini, l'accesso ai dati viene limitato in modo più appropriato in base alle competenze del dominio. Sebbene sia complessivamente più dettagliata, è anche più rigorosa di una politica di sicurezza centralizzata e unica nella sua granularità.

Vantaggi della rete di dati

I vantaggi di un'architettura data mesh sono molteplici, tra cui alcuni dei più importanti sono:

Agilità dei dati
L'architettura data mesh riduce la dipendenza dalle risorse IT per fornire l'accesso ai dati da diversi sistemi, consentendo ai team aziendali di concentrarsi sulla qualità e di fornire prodotti di dati più rapidamente.

Dati di qualità superiore per l'IA
Poiché i singoli esperti di dominio gestiscono i dati, la loro comprensione più approfondita del loro contesto e del loro significato si traduce in dati meglio curati e più attendibili, il che è fondamentale per ridurre i risultati imprecisi e LLM allucinazioni.

Disponibilità dei dati più rapida
Uno dei principali colli di bottiglia dell'approccio centralizzato al data lake è il tempo necessario per aggiungere e aggiornare le fonti, per non parlare della loro gestione e della loro facile disponibilità. Con un'architettura data mesh, la fornitura di prodotti di dati avviene in parallelo anziché in sequenza e, quindi, più rapidamente.

Politiche centrali standard di governance dei dati
Grazie al principio fondamentale di seguire un insieme centralizzato di rigorose linee guida di governance, l'architettura data mesh stabilisce uno standard per la custodia dei dati in tutta l'organizzazione, garantendo al contempo l'autonomia di ciascun dominio.

Queste sono solo alcune delle ragioni per cui molte organizzazioni adottano un'architettura data mesh.

La differenza tra dash mesh, data lake e data fabric

Quando si valutano le esigenze di dati e IA della propria organizzazione, è inevitabile sentir parlare di approcci e architetture alternative, come un data lake o un data fabric. Ecco le differenze in breve:


Lago di dati
A lago di dati è un termine che si riferisce a un repository centralizzato per i dati provenienti da varie fonti e sistemi, dove tutti i dati vengono raccolti e archiviati per un'analisi aggregata che abbraccia le fonti in vari domini. Un data lake a volte precede e alimenta un data warehouse, un archivio di dati centralizzato più raffinato.

Una differenza fondamentale tra un data lake e un data mesh è che il primo è centralizzato, il che lo rende massiccio e complesso da gestire - in genere richiede team dedicati - e difficile da mantenere aggiornato.

Tessuto dati
A tessuto di dati è simile nel concetto a una rete di dati, tranne per il fatto che impiega un quadro tecnico invece di un quadro organizzativo. Un tessuto di dati utilizza un archivio di dati centralizzato, ma isola l'accesso a ciascun dominio e area tematica attraverso rigidi protocolli di restrizione dell'accesso. Questo allevia la necessità per i domini di creare i propri archivi specifici e rimuove il loro coinvolgimento diretto con la rete di dati. gestione quotidiana dei dati.

La differenza principale tra una rete di dati e un tessuto di dati è che la prima non è un modello distribuito, ma un quadro tecnico. Al contrario, il secondo si concentra sui domini organizzativi come proprietari dei dati.

Implementazione di un'architettura data mesh

Grazie al suo modello decentralizzato, una piattaforma di elaborazione e analisi dei dati operativi in tempo reale è l'implementazione ottimale per l'architettura data mesh.

Questo blog spiega come Couchbase Capella™ fornisca un database cloud ideale per le implementazioni di data mesh. In poche parole, Couchbase fornisce:

Un database NoSQL cloud multifunzionale
Couchbase Capella è un database multifunzionale e facile da sviluppare, con cache integrata, archiviazione di documenti JSON, supporto SQL, ricerca, eventing e sincronizzazione mobile. Grazie a queste funzionalità combinate, un'organizzazione può sostituire altre tecnologie di database operative con un'unica soluzione, semplificando la rete di dati e riducendo gli input operativi.

Approfondimenti operativi immediati
Capella fornisce anche un sistema integrato di servizio di analisi colonnare per l'analisi in tempo reale di qualsiasi dato operativo. I risultati possono fornire informazioni in tempo reale senza dover passare attraverso la rete di dati. Ciò accelera la rete complessiva, in quanto Capella può essere utilizzato per l'analisi istantanea di dati operativi specifici e quindi alimentare i risultati nella rete per un'analisi più approfondita e l'intelligenza artificiale.

Approfondimenti più rapidi per passare all'azione
Capella offre funzionalità di eventing e di funzioni definite dall'utente, consentendo la creazione di routine di script che catturano le intuizioni analitiche dalla rete e le riportano nei livelli operativi. Se gli algoritmi di apprendimento automatico su una rete di data lake sviluppano una nuova classificazione dei clienti basata su dati storici, è possibile riportare tale classificazione nell'applicazione di vendita per un marketing mirato.

Sviluppo accelerato
Capella consente a un'organizzazione di consolidare i loro dati operativi in un database che è facile da usare per gli sviluppatori. Il supporto di SQL++ (SQL per JSON), i ricchi SDK, i servizi gestiti dal backend e un DBaaS completamente ospitato riducono l'attrito dello sviluppo: non ci sono problemi di installazione o manutenzione del server e non ci sono nuovi linguaggi da imparare per gli sviluppatori.

Il futuro dell'architettura data mesh

Spinti dalla digitalizzazione in tutti i settori e accelerati dagli investimenti e dallo sviluppo dell'intelligenza artificiale, i prodotti di dati diventeranno sempre più importanti per la maggior parte delle aziende e l'adesione ai principi di proprietà del dominio e di cura può gettare le basi per le future innovazioni alimentate dai dati.

Prova Couchbase Capella e vedrete come si adatta facilmente alla vostra iniziativa di architettura data mesh.

È inoltre possibile visualizzare il nostro hub e queste ulteriori risorse per approfondire i concetti generali relativi all'architettura dei dati:

Che cos'è una piattaforma dati?
Architetture di esempio per applicazioni ad alta intensità di dati
4 modelli di architettura a microservizi in Couchbase