Une architecture de data mesh peut aider une organisation à activer l'IA à grande échelle en démocratisant l'accès aux données pour l'analyse spécifique au domaine et en attribuant aux experts du domaine la responsabilité de chaque domaine. Cela améliore la qualité des données pour IA meilleure, plus précise.
Dans une architecture de data mesh, les domaines métier possèdent et gèrent leurs données sous forme de produit de données, garantissant leur qualité pour l'analyse et les exercices d'IA tels que la formation de modèles. Cela permet aux analystes et aux scientifiques des données d'accéder à des données de haute qualité, méticuleusement nettoyées et bien documentées pour les algorithmes d'IA et d'apprentissage automatique, assurant ainsi la précision et réduisant des phénomènes tels que les hallucinations des grands modèles linguistiques (LLM).
Examinons ce concept plus en profondeur en explorant l'architecture du data mesh.
- Qu'est-ce qu'un data mesh ?
- Pourquoi la data mesh ?
- Principes du data mesh
- Cas d'utilisation de la data mesh
- Avantages du data mesh
- La différence entre un mesh de données, un lac de données et un tissu de données
- Mise en œuvre d'une architecture de maille de données
- Avenir de l'architecture data mesh
Qu'est-ce qu'un data mesh ?
Les entreprises, grandes et petites, disposent de divers systèmes qui gèrent les activités quotidiennes. Par exemple, dans la plupart des organisations, vous pourriez trouver un CRM pour les opérations de vente, un ERP pour la gestion financière, un système de helpdesk pour le support client, une application de gestion de projet pour le développement de produits, etc. Il est crucial d’obtenir des informations précises sur les performances de toutes les opérations pour s’assurer que les données de votre entreprise sont exactes, pour améliorer les processus et pour rationaliser les flux de travail.
Le problème est que seuls certains domaines d'activité connaissent leurs données en profondeur, ce qui pose des problèmes d'analyse et de contrôle qualité. Cela peut saper les efforts traditionnels de data warehousing qui combinent les données de plusieurs domaines dans un référentiel de données centralisé, car la propreté et l'intégrité des données ne peuvent être garanties. Et comme c'est de plus en plus évident, plus les données sont peu fiables, moins l'IA est efficace et précise.
Une architecture de data mesh surmonte ces défis en distribuant des données spécifiques à un domaine dans des référentiels analytiques individuels et en décentralisant la propriété de chaque domaine. Cela garantit que les données de chaque domaine sont minutieusement vérifiées et prêtes à être utilisées immédiatement par leurs experts respectifs. Elle unifie également des sources disparates via des directives de partage de données et des normes de gouvernance gérées centralement.
Avec une architecture de maillage de données, les fonctions commerciales conservent le contrôle des données utilisées pour l'analyse et régissent la manière dont leurs données sont accessibles. Bien qu'un maillage de données puisse ajouter de la complexité à l'écosystème de données d'une entreprise, il apporte également de l'efficacité en améliorant l'accès et la qualité des données, ce qui alimente meilleure analyse et l'IA.
Une architecture de data mesh distribue les données spécifiques aux domaines sous la propriété de chaque secteur d'activité.
Pourquoi la data mesh ?
L'architecture de data mesh s'est formée à partir du besoin de dépasser les implémentations traditionnelles de data warehouse ou de data lake centralisés, qui ont tendance à souffrir de quelques défis fondamentaux :
- Établir une source unique de vérité peut s'avérer presque impossible avec les approches traditionnelles, car l'empreinte de données de la plupart des entreprises est fragmentée sur de nombreux systèmes distincts dans divers formats.
- À l'ère actuelle de l'IA, la demande d'un accès plus facile aux données de domaine augmente, tout comme le volume de données dans la plupart des entreprises. Cela crée des défis en matière de gestion du stockage et de l'accès.
- Les scientifiques et les analystes de données ont besoin d'accéder aux données dans les formats dont ils ont besoin. Les données doivent être fiables et ne pas nécessiter de connaissances techniques approfondies ni d'intervention informatique.
Essayer de résoudre ces problèmes en chargeant toutes les données dans un système d'analyse centralisé crée ses propres problèmes : Comment garantir la qualité et la ponctualité des données ? Comment gérer des données qui changent rapidement ? Comment gérer de nouvelles sources et de nouveaux formats de données ?
L'architecture de data mesh s'efforce de surmonter ces défis en distribuant la propriété des systèmes de données et d'analyse aux experts du domaine. Cela répartit l'empreinte des données analytiques sur des systèmes plus petits et plus gérables, spécifiques à chaque domaine, qui sont plus faciles à gérer individuellement. Parce que chaque expert du domaine connaît mieux ses données et y a un accès direct avec la data mesh, la qualité et l'intégrité des données sont améliorées, ce qui permet de les utiliser de manière plus fiable et plus facile dans toute l'organisation.
Principes du data mesh
L'architecture de malla de données suit ces principes généraux :
Les données doivent appartenir à leurs domaines.
Les domaines d'activité organisent et gèrent leurs données pour l'analyse et l'IA plutôt que de déléguer la propriété à des équipes centralisées.
2. Les données doivent être en libre-service pour les utilisateurs autorisés.
Pour démocratiser l'accès aux données, les organisations doivent simplifier l'accès par le biais de l'abstraction et le rendre aussi facile que possible sans sacrifier la sécurité stricte.
3. La gouvernance des données doit être décentralisée.
Les politiques de gestion, de stockage et de sécurité des données sont gérées de manière centralisée, mais chaque domaine est propriétaire de ses produits de données, garantissant ainsi la flexibilité et une structure répétable.
4. Les données doivent être traitées comme un produit (DaaP).
En adhérant aux principes ci-dessus, on garantit des produits de données validés, de haute qualité et entièrement nettoyés, auxquels les consommateurs autorisés peuvent accéder et qu'ils peuvent utiliser facilement. Dans une architecture de réseau de données, les domaines possèdent leurs produits de données, provenant d'analyses et de systèmes opérationnels, et en suivant des directives de gestion standardisées, ils rendent ces données plus précises et accessibles dans toute l'organisation.
Cas d'utilisation de la data mesh
Une architecture de data mesh peut prendre en charge de nombreux cas d'utilisation différents dans une grande variété d'industries et de secteurs verticaux. Voici quelques exemples :
Cycle de vie du client
Grâce à l'accès aux données provenant de systèmes couvrant l'engagement client, les organisations obtiennent une vue à 360 degrés des parcours clients, individuellement et globalement, en temps réel. Cela permet à l'entreprise de créer une IA qui engage les clients plus rapidement avec des offres et des suggestions pertinentes et d'examiner les raisons des succès ou des échecs de l'engagement global.
IA et apprentissage automatique
Les data scientists et les analystes avancés peuvent accéder facilement à plusieurs sources pour alimenter les modèles d'IA et d'apprentissage automatique, en sachant que les données sont propres, à jour et précises.
Surveillance environnementale IoT
L'architecture distribuée dans un data mesh permet de gérer et de surveiller plus efficacement les déploiements d'appareils IoT par les unités commerciales individuelles responsables des applications IoT.
Politique de sécurité des données distribuées
La sécurité des données est primordiale dans un modèle distribué comme le data mesh. En divisant la responsabilité des politiques de sécurité des produits de données entre les domaines individuels, l'accès aux données est plusapproprié restreint en fonction de l'expertise du domaine. Bien que plus détaillée globalement, elle est également plus stricte qu'une politique de sécurité centralisée et universelle dans sa granularité.
Avantages du data mesh
Il existe de nombreux avantages à une architecture de maillage de données, parmi lesquels quelques-uns des plus importants sont :
Agilité des données
L'architecture de data mesh réduit les dépendances vis-à-vis des ressources informatiques pour fournir un accès aux données de divers systèmes, permettant aux équipes métier de se concentrer sur la qualité et de livrer des produits de données plus rapidement.
Données de meilleure qualité pour l'IA
Parce que des experts du domaine individuels gèrent les données, leur compréhension plus approfondie de leur contexte et de leur signification permet d'obtenir des données mieux organisées et plus fiables, ce qui est essentiel pour réduire les résultats inexacts et LLM hallucinations.
Disponibilité des données plus rapide
Un goulot d'étranglement majeur de l'approche centralisée du lac de données est le temps nécessaire pour ajouter et mettre à jour des sources, sans parler de leur gestion et de leur mise à disposition aisée. Avec une architecture de maillage de données (data mesh), la livraison des produits de données se fait en parallèle plutôt qu'en séquence et, par conséquent, plus rapidement.
Politiques types de gouvernance centrale des données
De par son principe fondamental qui consiste à suivre un ensemble centralisé de directives de gouvernance strictes, l'architecture de data mesh établit une norme pour la garde des données au sein de l'organisation tout en accordant simultanément l'autonomie à chaque domaine.
Voici quelques-unes des raisons pour lesquelles de nombreuses organisations adoptent une architecture de maillage de données.
La différence entre un mesh de données, un lac de données et un tissu de données
Lorsque vous évaluez les besoins de votre organisation en matière de données et d'IA, vous entendrez inévitablement parler d'approches et d'architectures alternatives, telles qu'un lac de données ou un tissu de données. Voici les différences en quelques mots :
Lac de données
A lac de données est un terme qui désigne un référentiel centralisé pour les données provenant de diverses sources et systèmes, où toutes les données sont collectées et stockées pour des analyses agrégées qui couvrent les sources dans divers domaines. Un lac de données précède parfois et alimente un entrepôt de données, un référentiel de données centralisé plus raffiné.
Une différence fondamentale entre un lac de données et une maille de données est que le premier est centralisé, ce qui le rend massif et complexe à gérer – nécessitant généralement des équipes dédiées – et difficile à maintenir à jour.
Tissu de données
A tissu de données est similaire en concept à un « data mesh », à la différence qu'il emploie un cadre technique plutôt qu'un cadre organisationnel. Une « data fabric » utilise un référentiel de données centralisé mais isole l'accès à chaque domaine et domaine de sujet grâce à des protocoles de restriction d'accès stricts. Cela élimine la nécessité pour les domaines d'établir leurs propres référentiels spécifiques au domaine et supprime leur implication directe avec le gestion quotidienne des données.
La principale différence entre un data mesh et un data fabric est que le premier n'est pas un modèle distribué mais un cadre technique. En revanche, le second se concentre sur les domaines organisationnels en tant que propriétaires des données.
Mise en œuvre d'une architecture de maille de données
En raison de son modèle décentralisé, une plateforme de traitement et d'analyse de données opérationnelles en temps réel est-elle la mise en œuvre optimale pour une architecture de data mesh.
Ce blog Explique comment Couchbase Capella™ fournit une base de données cloud idéale pour les implémentations de data mesh. En résumé, Couchbase fournit :
Une base de données NoSQL multi-usage dans le cloud
Couchbase Capella est une base de données polyvalente et conviviale pour les développeurs, offrant une mise en cache intégrée, un stockage de documents JSON, la prise en charge de SQL, la recherche, le traitement d'événements et la synchronisation mobile. Grâce à ces capacités combinées, une organisation peut remplacer d'autres technologies de bases de données opérationnelles par une solution unique, simplifiant ainsi le maillage de données en réduisant les entrées opérationnelles.
Informations opérationnelles instantanées
Capella fournit également un intégré service d'analyse colonnaire pour l'analyse en temps réel de toute donnée opérationnelle. Les résultats peuvent fournir des informations directes, sans passer par le data mesh. Cela accélère le mesh global, car Capella peut être utilisé pour l'analyse instantanée de données opérationnelles spécifiques, puis transmettre ces résultats au mesh pour une analyse plus approfondie et l'IA.
Action plus rapide à partir des insights
Capella offre des fonctionnalités d'événementiel et de fonctions définies par l'utilisateur, permettant de programmer des routines qui capturent des insights analytiques à partir du maillage et les renvoient dans les couches opérationnelles. Cela permet d'agir sur les insights – si des algorithmes d'apprentissage automatique sur un maillage de lac de données développent une nouvelle classification de clients basée sur des données historiques, vous pouvez ramener cette classification dans l'application de vente pour un marketing ciblé.
Développement accéléré
Capella permet à une organisation de consolider leur éparpillement de données opérationnelles dans une base de données c'est facile pour les développeurs. La prise en charge de SQL++ (SQL pour JSON), des SDK riches, des services gérés côté serveur et une solution DBaaS entièrement hébergée réduisent les frictions de développement – il n'y a pas de problèmes d'installation ou de maintenance de serveur, ni de nouveaux langages à apprendre pour les développeurs.
Avenir de l'architecture data mesh
Propulsés par la numérisation à travers les industries et accélérés par les investissements et le développement de l'IA, les produits de données deviendront de plus en plus importants pour la plupart des entreprises, et le respect de ses principes de propriété et de curation de domaine peut jeter les bases des innovations futures alimentées par les données.
Essayer Couchbase Capella pour vous-même et voyez à quel point il peut s'intégrer facilement à votre initiative d'architecture de data mesh.
Vous pouvez également consulter notre hub et ces ressources supplémentaires pour en apprendre davantage sur les concepts généraux liés à l'architecture des données :
Qu'est-ce qu'une plateforme de données ?
Exemples d'architectures pour les applications à forte intensité de données
4 modèles pour l'architecture de microservices dans Couchbase
