AI 시대의 데이터 메시 아키텍처

데이터 메시 아키텍처는 도메인별 분석을 위해 데이터 액세스를 민주화하고 각 주제 영역에 대한 책임을 도메인 전문가에게 할당함으로써 조직이 대규모로 AI를 구현하는 데 도움을 줄 수 있습니다. 이를 통해 다음과 같은 데이터 품질이 향상됩니다. 더 나은, 더 정확한 AI.

데이터 메시 아키텍처에서는 비즈니스 도메인이 데이터를 데이터 제품으로 소유하고 큐레이션하여 분석 및 모델 훈련과 같은 AI 연습을 위한 품질을 보장합니다. 이를 통해 분석가와 데이터 과학자는 AI 및 머신 러닝 알고리즘을 위해 철저하게 정리되고 잘 문서화된 고품질 데이터에 액세스할 수 있으므로 정확성을 보장하고 LLM(대규모 언어 모드) 환각과 같은 현상을 줄일 수 있습니다.

데이터 메시 아키텍처를 살펴봄으로써 이 개념을 좀 더 자세히 살펴보겠습니다.

• 데이터 메시란 무엇인가요?
  
• 왜 데이터 메시일까요?
• 데이터 메시 원칙
  
• 데이터 메시 사용 사례
• 데이터 메시의 이점
• 대시 메시, 데이터 레이크, 데이터 패브릭의 차이점
• 데이터 메시 아키텍처 구현
• 데이터 메시 아키텍처의 미래

데이터 메시란 무엇인가요?

크고 작은 기업에는 일상적인 비즈니스를 운영하는 다양한 시스템이 있습니다. 예를 들어, 대부분의 조직에는 영업 운영을 위한 CRM, 재무 관리를 위한 ERP, 고객 지원을 위한 헬프데스크 시스템, 제품 개발을 위한 프로젝트 관리 애플리케이션 등이 있을 수 있습니다. 기업의 데이터가 정확한지 확인하고, 프로세스를 개선하고, 워크플로를 간소화하려면 모든 운영 전반의 성과에 대한 정확한 인사이트를 확보하는 것이 중요합니다.

문제는 특정 비즈니스 영역에서만 데이터를 심층적으로 알고 있기 때문에 분석 및 품질 관리에 문제가 발생한다는 것입니다. 이는 데이터의 청결성과 무결성을 보장할 수 없기 때문에 여러 도메인의 데이터를 중앙 집중식 데이터 저장소로 통합하는 기존의 데이터 웨어하우스 노력을 약화시킬 수 있습니다. 그리고 점점 더 분명해지고 있습니다.데이터의 신뢰도가 낮을수록 AI의 효과와 정확도는 떨어집니다.

데이터 메시 아키텍처는 도메인별 데이터를 개별 분석 리포지토리에 분산하고 각 도메인의 소유권을 분산함으로써 이러한 문제를 극복합니다. 이를 통해 각 도메인의 데이터는 철저한 검증을 거쳐 해당 전문가가 즉시 사용할 수 있도록 보장합니다. 또한 중앙에서 관리되는 데이터 공유 지침과 거버넌스 표준을 통해 서로 다른 소스를 통합합니다.

데이터 메시 아키텍처를 사용하면 비즈니스 부서에서 분석에 사용되는 데이터를 제어하고 데이터 액세스 방식을 관리할 수 있습니다. 데이터 메시는 기업의 데이터 에코시스템에 복잡성을 더할 수 있지만, 데이터 액세스와 품질을 개선하여 효율성을 높여주므로 다음과 같은 이점이 있습니다. 더 나은 분석 및 AI.

데이터 메시 아키텍처는 각 비즈니스 영역의 소유권 하에 도메인별 데이터를 배포합니다.

왜 데이터 메시일까요?

데이터 메시 아키텍처는 몇 가지 근본적인 문제를 안고 있는 기존의 중앙 집중식 데이터 웨어하우스나 데이터 레이크 구현을 뛰어넘어야 한다는 필요성에서 탄생했습니다:

• 대부분의 기업의 데이터 공간은 다양한 형식의 여러 이질적인 시스템에 파편화되어 있기 때문에 기존의 접근 방식으로는 단일 데이터 소스를 구축하는 것이 거의 불가능할 수 있습니다.
• 현재 AI 시대에는 대부분의 기업에서 데이터의 양이 증가함에 따라 도메인 데이터에 더 쉽게 액세스하려는 요구가 증가하고 있습니다. 이로 인해 스토리지와 액세스를 처리하는 데 어려움이 생깁니다.
• 데이터 과학자와 분석가는 필요한 형식의 데이터에 액세스할 수 있어야 합니다. 데이터는 신뢰할 수 있어야 하며, 깊은 기술 지식이나 IT 부서의 개입이 필요하지 않아야 합니다.

모든 데이터를 중앙 집중식 분석 시스템에 로드하여 이러한 문제를 해결하려고 하면 자체적인 문제가 발생합니다: 데이터의 품질과 적시성을 어떻게 보장할 것인가? 빠르게 변화하는 데이터를 어떻게 처리할 것인가? 새로운 데이터 원본과 형식을 어떻게 처리할 것인가?

데이터 메시 아키텍처는 데이터 및 분석 시스템의 소유권을 도메인 전문가에게 분산시켜 이러한 문제를 극복하기 위해 노력합니다. 이를 통해 분석 데이터 공간을 개별적으로 관리하기 쉬운 더 작고 관리하기 쉬운 도메인별 시스템으로 분산시킵니다. 각 도메인 전문가가 자신의 데이터를 가장 잘 알고 데이터 메시를 통해 데이터에 직접 액세스할 수 있으므로 데이터 품질과 무결성이 향상되어 조직 전체에서 데이터를 더 안정적이고 쉽게 사용할 수 있습니다.

데이터 메시 원칙

데이터 메시 아키텍처는 이러한 일반적인 원칙을 따릅니다:

1. 데이터는 해당 도메인이 소유해야 합니다.
비즈니스 도메인은 중앙 집중식 팀에 소유권을 위임하는 대신 분석 및 AI를 위해 데이터를 큐레이션하고 관리합니다.

2. 데이터는 인증된 사용자만 셀프 서비스를 이용할 수 있어야 합니다.
데이터 액세스의 민주화를 위해 조직은 추상화를 통해 액세스를 간소화하고 엄격한 보안을 유지하면서 최대한 쉽게 액세스할 수 있도록 해야 합니다.

3. 데이터 거버넌스는 분산되어야 합니다.
데이터 관리, 저장 및 보안 정책은 중앙에서 관리되지만 각 도메인은 데이터 제품을 소유하므로 유연성과 반복 가능한 구조를 보장합니다.

4. 데이터는 제품(DaaP)으로 취급해야 합니다.
위의 원칙을 준수하면 권한이 있는 소비자가 쉽게 액세스하고 사용할 수 있는 검증된 고품질의 완전히 정제된 데이터 제품을 보장할 수 있습니다. 데이터 메시 아키텍처에서 도메인은 분석 및 분석 기관에서 소싱한 데이터 제품을 소유합니다. 운영 시스템표준화된 관리 지침을 준수함으로써 조직 전체에서 해당 데이터의 정확성과 접근성을 높입니다.

데이터 메시 사용 사례

데이터 메시 아키텍처는 다양한 산업과 업종에 걸쳐 다양한 사용 사례를 지원할 수 있습니다. 몇 가지 예를 들면 다음과 같습니다:

고객 라이프사이클
조직은 고객 참여 전반에 걸친 시스템의 데이터에 액세스하여 고객 여정을 개별적으로 또는 전체적으로 실시간으로 360도 파악할 수 있습니다. 이를 통해 기업은 관련성 높은 제안과 제안으로 고객의 참여를 더욱 빠르게 유도하고 전반적인 참여의 성공 또는 실패 원인을 조사하는 AI를 개발할 수 있습니다.

AI 및 머신 러닝
데이터 과학자와 고급 분석가는 데이터가 깨끗하고 최신이며 정확하다는 확신을 가지고 여러 소스에 쉽게 액세스하여 AI 및 머신 러닝 모델에 데이터를 공급할 수 있습니다.

IoT 환경 모니터링
데이터 메시의 분산 아키텍처를 통해 IoT 애플리케이션을 담당하는 개별 비즈니스 부서에서 IoT 디바이스 배포를 보다 효과적으로 관리하고 모니터링할 수 있습니다.

분산 데이터 보안 정책
데이터 메시와 같은 분산 모델에서는 데이터 보안이 가장 중요합니다. 데이터 제품 보안 정책에 대한 책임을 개별 도메인 간에 분담함으로써 도메인 전문성에 따라 데이터에 대한 액세스가 보다 적절하게 제한됩니다. 전반적으로 더 상세하지만, 중앙 집중식 획일적인 보안 정책보다 세분화되어 있어 더 엄격합니다.

데이터 메시의 이점

데이터 메시 아키텍처에는 많은 이점이 있으며, 그중 가장 중요한 몇 가지 이점은 다음과 같습니다:

데이터 민첩성
데이터 메시 아키텍처는 다양한 시스템의 데이터에 액세스할 수 있도록 IT 리소스에 대한 의존성을 줄여 비즈니스 팀이 품질에 집중하고 데이터 제품을 더 빠르게 제공할 수 있도록 지원합니다.

AI를 위한 고품질 데이터
개별 도메인 전문가가 데이터를 관리하기 때문에 데이터의 맥락과 의미를 더 깊이 이해하면 더 잘 선별되고 더 신뢰할 수 있는 데이터를 얻을 수 있으며, 이는 부정확한 결과를 줄이는 데 매우 중요합니다. LLM 환각.

더 빠른 데이터 가용성
중앙 집중식 데이터 레이크 접근 방식의 주요 병목 현상은 소스를 관리하고 쉽게 사용할 수 있도록 하는 것은 말할 것도 없고, 소스를 추가하고 업데이트하는 데 걸리는 시간입니다. 데이터 메시 아키텍처를 사용하면 데이터 제품의 제공이 순차적으로 이루어지지 않고 병렬로 이루어지므로 더 빠르게 이루어집니다.

표준 중앙 데이터 거버넌스 정책
데이터 메시 아키텍처는 엄격한 거버넌스 가이드라인을 중앙 집중식으로 따르는 핵심 원칙을 바탕으로 조직 전체에 데이터 관리의 표준을 설정하는 동시에 각 도메인에 자율성을 제공합니다.

이는 많은 조직이 데이터 메시 아키텍처를 채택하는 이유 중 일부에 불과합니다.

대시 메시, 데이터 레이크, 데이터 패브릭의 차이점

조직의 데이터 및 AI 요구 사항을 평가할 때 데이터 레이크나 데이터 패브릭과 같은 대안적인 접근 방식과 아키텍처에 대해 듣게 될 것입니다. 차이점을 간단히 설명하면 다음과 같습니다:


데이터 레이크
A 데이터 레이크 는 다양한 소스 및 시스템의 데이터를 위한 중앙 집중식 저장소를 지칭하는 용어로, 모든 데이터를 수집하고 저장하여 다양한 도메인에 걸친 소스를 통합 분석할 수 있도록 합니다. 데이터 레이크는 보다 정교한 중앙 집중식 데이터 저장소인 데이터 웨어하우스에 선행하여 데이터를 공급하기도 합니다.

데이터 레이크와 데이터 메시의 근본적인 차이점은 전자는 중앙 집중식이기 때문에 관리가 방대하고 복잡하며(일반적으로 전담 팀이 필요함) 최신 상태를 유지하기 어렵다는 점입니다.

데이터 패브릭
A 데이터 패브릭 는 데이터 메시와 개념이 유사하지만, 조직 프레임워크 대신 기술 프레임워크를 사용한다는 점이 다릅니다. 데이터 패브릭은 중앙 집중식 데이터 리포지토리를 활용하지만 엄격한 액세스 제한 프로토콜을 통해 각 도메인 및 주제 영역에 대한 액세스를 격리합니다. 따라서 도메인이 자체 도메인별 리포지토리를 구축해야 할 필요성을 줄이고 일상적인 데이터 관리.

데이터 메시와 데이터 패브릭의 가장 큰 차이점은 전자는 분산 모델이 아니라 기술 프레임워크라는 점입니다. 반면, 후자는 데이터 소유자인 조직 도메인에 초점을 맞춥니다.

데이터 메시 아키텍처 구현

탈중앙화 모델이기 때문입니다, 실시간 운영 데이터 처리 및 분석 플랫폼 는 데이터 메시 아키텍처를 위한 최적의 구현입니다.

이 블로그 에서 Couchbase Capella™가 데이터 메시 구현에 이상적인 클라우드 데이터베이스를 제공하는 방법을 설명합니다. 간단히 말해, Couchbase는 다음을 제공합니다:

다목적 클라우드 NoSQL 데이터베이스
카우치베이스 카펠라는 캐싱, JSON 문서 저장, SQL 지원, 검색, 이벤트, 모바일 동기화 기능이 내장된 다목적의 개발자 친화적인 데이터베이스입니다. 이러한 기능을 결합하여 조직은 다른 운영 데이터베이스 기술을 하나의 솔루션으로 대체하여 운영 입력을 줄임으로써 데이터 메시를 단순화할 수 있습니다.

즉각적인 운영 인사이트
Capella는 또한 내장된 컬럼형 분석 서비스 를 사용하여 모든 운영 데이터를 실시간으로 분석할 수 있습니다. 그 결과는 데이터 메시를 반복하지 않고도 즉각적인 인사이트를 제공할 수 있습니다. Capella를 사용하여 특정 운영 데이터를 즉시 분석한 다음 그 결과를 심층 분석 및 AI를 위해 메시로 피드할 수 있으므로 전체 메시의 속도가 빨라집니다.

신속한 인사이트 확보 및 실행
Capella는 이벤트 및 사용자 정의 함수 기능을 제공하여 메시에서 분석 인사이트를 캡처하고 운영 계층으로 다시 가져오는 루틴을 스크립팅할 수 있습니다. 데이터 레이크 메시의 머신 러닝 알고리즘이 과거 데이터를 기반으로 새로운 고객 분류를 개발하면 해당 분류를 다시 영업 앱으로 가져와 타깃 마케팅을 수행할 수 있습니다.

개발 가속화
카펠라를 통해 조직은 다음을 수행할 수 있습니다. 분산된 운영 데이터를 데이터베이스로 통합합니다. 개발자가 쉽게 작업할 수 있습니다. SQL++(JSON용 SQL) 지원, 다양한 SDK, 백엔드 관리형 서비스, 완전 호스팅형 DBaaS는 서버 설치나 유지보수의 번거로움이 없고 개발자가 새로운 언어를 배울 필요가 없어 개발 마찰을 줄여줍니다.

데이터 메시 아키텍처의 미래

산업 전반의 디지털화가 촉진하고 AI 투자 및 개발이 가속화됨에 따라 대부분의 기업에서 데이터 제품의 중요성은 점점 더 커질 것이며, 도메인 소유권과 큐레이션 원칙을 준수하면 데이터에 기반한 미래 혁신의 토대를 마련할 수 있습니다.

시도 카우치베이스 카펠라 를 직접 사용해보고 데이터 메시 아키텍처 이니셔티브에 얼마나 쉽게 적용할 수 있는지 확인해 보세요.

또한 다음을 볼 수도 있습니다. 허브 및 이러한 추가 리소스를 통해 데이터 아키텍처와 관련된 일반적인 개념에 대해 자세히 알아보세요:

데이터 플랫폼이란 무엇인가요?
데이터 집약적 애플리케이션을 위한 아키텍처 예시
카우치베이스의 마이크로서비스 아키텍처를 위한 4가지 패턴