실시간 대시보드 구축 - 카우치베이스 애널리틱스 및 Tableau

이 블로그에서는 5번의 클릭만으로 Couchbase 분석 클러스터를 설정하고 Tableau로 실시간 비주얼리제이션 대시보드를 만드는 방법에 대해 설명합니다. 

소개

카우치베이스 서버 는 운영 및 분석 워크로드를 지원합니다. Couchbase Server 6.0의 Couchbase Analytics는 사용자가 변환이나 스키마 설계 없이도 자연스러운 형식의 JSON 데이터에 대해 애드혹 분석 쿼리를 실행할 수 있는 'NoSQL용 NoETL'을 제공합니다. 대규모 병렬 처리(MPP) 쿼리 엔진입니다.

모든 기업은 이미 시각화 도구에 투자한 경험이 있으므로 기존 투자를 활용해야 할 필요성이 있습니다. 여기에는 도구뿐만 아니라 비즈니스 보고 및 대시보드 팀의 기술 집합과 교육도 포함됩니다.

저는 항상 JSON 데이터를 실시간으로 분석하고 시각화할 때 그 증거는 푸딩 속에 있다고 믿었습니다. 다음 섹션에서는 Couchbase가 이 문제를 어떻게 해결하는지 보여드리겠습니다.

데모 시나리오

제가 여러분께 제가 데모한 Couchbase 애널리틱스 시나리오 아키텍처 기조연설로 Couchbase Connect 2018을 진행했습니다:

차량의 각 차량이 '모선'으로 운행 데이터를 전송하는 가상의 회사가 차량을 관리한다고 상상해 보세요. 운영팀은 차량이 이동하는 동안 차량이 전송하는 수신 데이터를 모니터링하고 중요한 지표 수치의 오류에 대해 시스템 경고를 구성할 수 있습니다.

운영팀이 해결하고자 하는 과제는 다음과 같습니다:
1. 차량의 데이터 전송 기능에 영향을 주지 않고 수신 데이터를 분석하는 방법
2. Tableau 비주얼리제이션 도구를 사용하여 현장 상황에 대한 실시간 대시보드를 만드는 방법

데이터 모델

데모의 일부로 도로 위의 각 차량에서 전송되는 실시간 정보를 표현하기 위해 JSON 데이터 모델을 만들었습니다. 대부분의 JSON 데이터 모델과 마찬가지로 중첩된 개체와 배열은 차량으로 다시 전송되는 데이터의 일부입니다. 예를 들어 타이어 공기압 수치를 배열로 모델링했는데, 가상의 자동차 회사가 바퀴가 2개인 자전거나 바퀴가 6개인 트럭을 생산하기 시작하면 데이터 모델을 변경할 필요가 없습니다.

클릭 5번으로 사용해 보세요: Couchbase Analytics로 클러스터 설정하기

Couchbase를 처음 사용하는 경우 Couchbase Server 6.0을 다운로드하여 직접 사용해 볼 수 있습니다. Couchbase를 단일 컴퓨터에 설치하거나 클러스터를 설치하도록 선택할 수 있습니다. 아래는 클러스터에 새 노드를 추가하기 위한 지침입니다. 단일 컴퓨터에서 모든 것을 실행하는 경우, 데이터 및 분석 서비스가 노드에서 실행되고 있는지 확인하세요.

의 하위 집합 데모에 사용된 데이터 세트 를 다운로드할 수 있습니다. 다운로드하여 압축을 풀어야 합니다. 데모 데이터 세트.

"cbimport" 유틸리티를 사용하여 이 데이터 집합을 자체 Couchbase 6.0 클러스터에서 가져올 수 있습니다. Mac에서 이 작업을 수행하는 명령은 다음과 같습니다:

사용 중인 환경의 경우 cbimport 문서.

이제 운영 클러스터에서 도로 위 차량의 판독값을 사용할 수 있게 되었으니, 클러스터에 분석 노드를 추가하여 실시간으로 전송되는 판독값을 탐색하고 분석해 보겠습니다. 아래 단계를 수행하려면 Couchbase 관리 콘솔에 로그인해야 합니다. 위에서 언급한 데모 동영상을 따라할 수도 있습니다.

1. 화면 오른쪽 상단의 '서버 추가'를 클릭합니다.
2. 대화 상자에서 다음과 같이 세부 정보를 입력해야 합니다:
   *Mac 사용자를 위한 프로 팁: "애널리틱스"를 선택할 때 "옵션 + 클릭"을 사용하면 클릭 횟수를 절약할 수 있습니다.
3. 같은 대화 상자에서 "서버 추가" 버튼을 클릭합니다.
4. 카우치베이스 애널리틱스 노드에 할당할 메모리 양을 선택합니다.
5. 마지막으로 "재조정"을 클릭합니다.

클릭 5번으로 새로운 서비스인 Couchbase Analytics를 클러스터에 추가할 수 있습니다.

이제 섀도 데이터 집합을 만들어 운영 데이터를 분석에 사용할 수 있게 만들어 보겠습니다.

Couchbase 분석 워크벤치에서 위의 문을 실행하여 이제 데이터 분석 및 탐색을 위한 섀도 데이터 집합을 만들었습니다:

데이터 탐색

데이터 탐색을 시작해 보겠습니다. 제가 운영 관리자라면 이 문제가 널리 퍼져 있는지, 그리고 두 가지 이상의 차종에 영향을 미치는지 알고 싶습니다.

SQL 개발자라면 위의 쿼리가 익숙할 것입니다. Couchbase Server를 사용하면 분석 팀이 기존의 SQL 기술을 스키마가 없고 중첩된 JSON 데이터의 세계로 가져올 수 있습니다. 자세히 알아보기 N1QL 및 SQL++.

이제 오탐을 배제해 보겠습니다. TPMS 표시기가 잘못된 수치를 전송하고 있지만 실제 타이어 공기압 값은 정상일 수 있는 상황이 있을 수 있습니다. 실제 타이어 공기압 수치는 JSON 배열로 전송됩니다. 실제로 낮은지 확인해 보겠습니다.

위의 쿼리는 TPMS 표시등이 "켜짐"이지만 실제 타이어 공기압이 안전 한도인 30psi를 초과하는 값을 반환합니다. 분석 엔진은 애플리케이션에서 모델링된 동일한 JSON 배열에서 작동하므로 자연스러운 JSON 형태로 분석되는 데이터의 변환이 없습니다. #NoETLforNoSQL

SQL 드라이버 설정

이제 데이터 탐색을 시작했으니 실시간 대시보드에서 데이터를 시각화해 보겠습니다. 엔터프라이즈에 배포된 대부분의 BI 도구에는 SQL 인터페이스가 필요합니다. CData 를 사용하여 SQL 인터페이스를 제공합니다. 이 기능을 사용해 보려면 다음을 수행하면 됩니다. CData 드라이버 다운로드.

이 블로그 게시물에서는 Couchbase Analytics와 연결하기 위한 ODBC 연결을 만들겠습니다. 저는 Mac을 사용하고 있으며 ODBC 관리자 도구를 사용하여 다음 속성을 가진 시스템 DSN을 정의할 수 있습니다:

Tableau에서 실시간 비주얼리제이션 만들기

이제 Tableau와 Couchbase Analytics를 연결하는 단계를 안내해 드리겠습니다.

1. 열기 Tableau 데스크톱 애플리케이션을 클릭하고 '다른 데이터베이스에 연결(ODBC)'을 선택합니다.
2. DSN(데이터 소스 이름)을 사용하여 연결하는 옵션을 선택합니다.
3. 이전 단계에서 생성한 DSN을 선택합니다.
4. '로그인' 단추를 클릭하면 Tableau 통합 문서 인터페이스로 이동합니다.
   
5. 화면 왼쪽에서 데이터베이스로 'CData'를 선택합니다.
6. "스키마 선택" 드롭다운을 클릭하고 검색 아이콘을 클릭한 다음 Couchbase를 선택합니다.
   
   
7. 표 섹션에서 검색 아이콘을 클릭합니다.
   
8. 통합 문서를 만들고 모델 유형 및 고유 VIN 수에 대한 측정값과 같은 차원을 선택하여 간단한 그래프를 만듭니다.
   

이제 기본 대시보드를 개선하여 시각화를 변경하고 필터링 기능을 추가할 수 있습니다. 

결론

실시간 운영 분석을 달성하는 것은 비즈니스의 필수 과제이지만, 이 과정에서 조직은 다음과 같은 장애물에 직면하게 됩니다:

• 레거시 데이터 아키텍처에서 데이터 프로비저닝에 몇 주 또는 몇 달이 걸리는 경우
• 기존 IT 부서 내에서 현대화하는 데 필요한 기술 부족
• 빠르고 직접적인 투자 수익이 없는 상황에서 현대화를 위한 비즈니스 사례 구축의 어려움
• 사용자 지정 보고의 복잡성과 운영 대시보드의 부족으로 인해 인사이트가 제한적입니다.

카우치베이스 애널리틱스 는 이러한 문제를 해결하고 단일 Couchbase 클러스터에서 하이브리드 운영 및 분석 워크로드를 매우 쉽게 실행할 수 있게 해줍니다. Couchbase의 하이브리드 아키텍처는 운영 애플리케이션에서 생성된 JSON 데이터를 실시간으로 분석하고 데이터 레이크, 데이터 웨어하우스 및 복잡한 ETL 프로세스의 과중한 작업을 피할 수 있게 해줍니다.