Talend ETL을 사용하여 MySQL에서 Couchbase까지

Couchbase는 통합 캐시 및 스토리지 기술을 결합한 고유한 NoSQL 데이터베이스를 제공합니다. NoSQL은 큰 인기를 얻고 있으며, 많은 고객이 RDBMS에 있는 데이터 중 일부를 Couchbase NoSQL로 내보내거나 매핑하려고 하는데, 바로 이 부분에서 Talend의 제품을 활용할 수 있습니다.

Talend는 비즈니스 프로세스 관리에서 엔터프라이즈 서비스 버스, 마스터 데이터 관리에 이르기까지 통합과 관련된 다양한 기능을 제공합니다. Talend의 새로운 빅데이터용 Open Studio 버전 5.3 릴리스에는 Couchbase 커넥터가 포함되어 있어, Couchbase Server를 기존의 운영 및 분석 데이터 원본과 함께 사용할 수 있는 수많은 시나리오를 가능하게 합니다.

Talend를 Couchbase Server와 함께 구성하고 사용하는 방법에 대한 기본적인 아이디어를 제공하기 위해 Talend Open Studio 소프트웨어를 사용하여 MySQL 데이터베이스 서버에서 JSON 문서 형식을 사용하여 Couchbase 데이터베이스 서버로 데이터를 내보내는 ETL 워크플로우를 만드는 간단한 시나리오를 안내해 드리겠습니다. 이 워크플로는 MySQL 데이터베이스 테이블에서 읽고 Couchbase Server에서 해당 JSON 문서를 생성합니다. 데이터 변환, 복잡한 매핑 등과 관련된 더 복잡한 시나리오를 지원하기 위해 예제를 구축하고 이를 보강할 수 있습니다. 다음 단계는 CentOS에서 테스트되었지만 다른 시스템에도 적용할 수 있습니다.

그럼 시작해 보겠습니다...

전제 조건

먼저 설치를 위해 필요한 사전 요구 사항을 살펴보겠습니다:

• 카우치베이스 서버 다운로드 및 설치 
• MySQL 서버를 다운로드하여 설치하거나 기존 MySQL 설치를 사용하세요. 
• 월드 데이터베이스를 다운로드하여 가져옵니다:
  • world.sql 다운로드
  • 아직 시작하지 않았다면 MySQL 서버를 시작하고 서버에 연결합니다:
    • sudo 서비스 mysqld 시작
    • sudo mysql -u root -p
  • 월드 데이터베이스 만들기
    • 데이터베이스 세계 만들기;
  • 월드 데이터베이스에서 콘텐츠 로드
    • USE 세상;
    • 출처 world.sql;
  • 월드 데이터베이스가 올바르게 가져왔는지 확인합니다.
    • 표 표시;
    • 출력은 3개의 테이블이어야 합니다: 도시, 국가 및 국가 언어
• 빅데이터용 Talend Open Studio 다운로드 및 설치 

시작

이제 모든 것이 시작되었는지 확인해 보겠습니다.

• 아직 시작하지 않았다면 MySQL을 시작합니다:
  • sudo 서비스 mysqld 시작
• 아직 시작하지 않았다면 Couchbase를 시작합니다:
  • sudo /etc/init.d/couchbase-server 시작
• 빅데이터용 Talend Open Studio를 시작합니다:
  • 다음 명령어 또는 이와 유사한 명령을 실행합니다(설치 디렉터리 및 버전에 따라 다름): /opt/TOS_BD-r101800-V5.3.0/TOS_BD-linux-gtk-x86_64

만들기

이제 Talend Open Studio를 사용하여 ETL 워크플로우를 만들어 보겠습니다.

• Talend를 시작한 후 만들기 버튼을 클릭하고 프로젝트 이름(예: "MySQLToCouchbaseIntegration")을 입력한 후 마침을 클릭합니다.
• 생성된 프로젝트를 선택하고 열기 버튼을 클릭합니다.

• Talend에서 계정을 만들거나 건너뛰기 버튼을 클릭하면 IDE가 열립니다.
• IDE 초기화가 완료될 때까지 기다렸다가 시작 창을 닫거나 최소화합니다.
• 리포지토리 패널에서 작업 디자인을 왼쪽 클릭한 다음 작업 만들기를 오른쪽 클릭합니다.
• 작업 이름(예: "MySQLToCouchbase통합작업")을 입력하고 마침을 클릭합니다.

• 이렇게 하면 작업 아티팩트를 끌어서 놓을 수 있는 패널이 생성되고 오른쪽에 팔레트가 표시됩니다.
• 팔레트에서 tMyslInput 위젯(데이터베이스/MySQL 아래에서 찾을 수 있음)을 왼쪽으로 끌어다 놓습니다.

• 팔레트에서 데이터베이스/카우치베이스 아래에서 찾을 수 있는 tCouchbaseOutput 위젯을 오른쪽으로 끌어다 놓습니다.

• 두 구성 요소 모두 Talend 소프트웨어와 함께 제공되지 않는 jar 파일이 필요합니다. Talend에는 jar 파일을 추가하는 방법을 설명하는 위키가 있습니다. 때때로 jar 파일은 IDE에서 직접 다운로드하거나 모듈 패널에서 jar 기호("외부 JAR 추가 도구 설명"이 있는 기호)를 클릭하여 수동으로 다운로드하여 Talend에 로드해야 할 수도 있습니다.

• 다음 단계로 처리하기 전에 항아리를 로드/해결해야 합니다. 자세한 정보 보기
• 패널에서 tMysqlInput을 더블 클릭하면 하단에 컴포넌트 패널이 표시됩니다.
• 패널에 MySQL 데이터베이스 연결 정보를 입력합니다. 모든 필드는 큰따옴표(즉, ")로 묶어야 합니다.
• 테이블 이름 오른쪽에 있는 ... 버튼을 클릭하고 세계를 확장한 다음 도시 항목을 선택하고 확인 버튼을 클릭합니다.
• 기본 쿼리를 제거하고 "SELECT * FROM City"로 대체합니다.
• 아래는 스크린샷의 예시입니다:

• 스키마 추측 버튼을 클릭하면 스키마 창이 나타나고, 적절하게 창을 이동하고 크기를 조정할 수 있습니다.
• 다음과 같이 변경하여 스키마를 편집합니다:
  • ID에 무효화 가능 확인
  • 인구에 대해 무효화 가능 확인
  • ID 유형을 문자열로 변경
  • 아래와 같이 DB 유형을 입력하고 확인 버튼을 클릭합니다.
    • INT for ID
    • 이름에 대한 VARCHAR
    • 국가 코드용 VARCHAR
    • 지구의 VARCHAR
    • INT 인구
• 아래는 스크린샷의 예시입니다:

• tMysqlInput을 마우스 왼쪽 버튼으로 클릭한 다음 마우스 오른쪽 버튼으로 클릭하여 행/메인을 선택하고 화살표를 tMysqlInput 컴포넌트에서 tCouchbaseOutput 컴포넌트로 드래그합니다. 둘 사이에 화살표가 만들어져야 합니다.

• 패널에서 tCouchbaseOutput을 왼쪽 클릭하면 하단에 컴포넌트 패널이 표시됩니다.
• 패널에 Couchbase 데이터베이스 연결 정보를 입력합니다. 모든 필드는 큰따옴표(즉, ")로 묶어야 합니다.
• 이 예에서는 버킷 이름이 기본값이며 인증이 설정되어 있지 않으므로 사용자 이름과 비밀번호는 ""로 남겨져 있습니다.
• 버튼을 클릭하고 필드를 풀 URI(예: http://localhost:8091/pools)로 변경하여 URI를 입력해야 합니다.
• 키는 ID(기본값)와 삽입할 데이터에 대한 액션으로 남겨둬야 합니다.
• 아래는 스크린샷의 예시입니다:

• JSON 트리 구성 ... 버튼을 클릭하면 테이블 스키마에서 JSON으로 매핑할 수 있는 매퍼가 나타납니다.
• 왼쪽 스키마 목록에서 모든 스키마 속성(다중 선택 사용)을 선택하고 오른쪽 링크 대상 창의 루트태그에 끌어다 놓은 다음 대상 노드의 하위 요소로 만들기를 선택한 다음 확인 버튼을 클릭합니다.
• 출력은 다음과 같이 표시되어야 합니다:

• 오른쪽의 링크 대상 창에서 ID 속성을 선택하고 루프 요소로 설정을 마우스 오른쪽 버튼으로 클릭한 다음 확인 버튼을 클릭합니다.

• 모든 것이 정상이면 디자이너 패널의 두 아이콘에 오류 징후가 표시되지 않아야 하며, 이 경우 이제 작업을 실행할 수 있습니다.
• 실행 패널을 클릭하면 작업이 빌드되고 실행됩니다.
• Couchbase 서버 버킷에 액세스하여 문서가 로드되었는지 확인합니다: http://localhost:8091/index.html#sec=buckets
• 이렇게 하면 기본 버킷에 4079개의 문서가 추가되었을 것입니다:

• 개별 문서를 드릴다운하여 살펴볼 수 있습니다:

• 짜잔!

앞서 설명한 것처럼 훨씬 더 복잡한 시나리오를 만들 수 있으며, 곧 더 정교한 예시를 통해 후속 조치를 취할 예정입니다.

다음 주소로 의견과 피드백을 보내주세요. alexis@couchbase.com