Talend, Talend 빅데이터 플랫폼 8.0에 카우치베이스 아카펠라 지원 도입

레거시 데이터베이스를 현대화하려는 많은 조직은 관계형 데이터베이스(RDBMS)의 신뢰할 수 있는 강점을 그대로 유지하면서 유연성, 성능, 확장성을 제공하는 완전 관리형 호스팅 DBaaS 제품을 검토하고 있습니다. 도입과 함께 카우치베이스 카펠라 DBaaS이제 고객은 탁월한 가격 대비 성능으로 총소유비용(TCO)을 절감할 수 있습니다.

그러나 기존 데이터 통합 도구와 프로세스를 사용하여 데이터를 다음 위치로 이동할 수 있는지 확인합니다. 카우치베이스 카펠라 로 전환하는 데 중요한 종속성이 될 수 있습니다. 클라우드 서비스. 그렇기 때문에 Talend Big Data Platform 8.0에서 Couchbase 7.x를 지원하여 Couchbase Server와 Capella를 모두 지원하게 된 것을 기쁘게 생각합니다.

Talend는 비즈니스 프로세스 관리부터 ETL 및 마스터 데이터 관리에 이르기까지 다양한 데이터 관리 기능을 제공합니다. Talend의 새로운 빅 데이터 플랫폼 8.0 릴리스에는 비즈니스 크리티컬 애플리케이션의 현대화 및 마이그레이션을 가능하게 하는 업데이트된 Couchbase 커넥터가 포함되어 있습니다.

카우치베이스 카펠라를 위한 ETL 워크플로우 만들기

이 블로그에서는 Talend와 Couchbase Capella를 연결하고 간단한 ETL 워크플로우를 수행하는 방법을 보여드립니다. Talend 빅데이터 플랫폼 는 JSON 문서 형식을 사용하여 MySQL 데이터베이스의 관계형 데이터를 Couchbase로 내보내는 데 활용됩니다.

이 워크플로는 MySQL 데이터베이스 테이블에서 읽고 Couchbase Server에서 해당 JSON 문서를 만듭니다. 이 예제를 기반으로 데이터 변환, 복잡한 매핑 등과 관련된 더 복잡한 시나리오를 지원하도록 확장할 수 있습니다.

다음 단계는 macOS에서 테스트되었지만 다른 시스템에도 적용할 수 있습니다.

카우치베이스 카펠라는 30일 무료 체험판을 제공하며 몇 번의 클릭만으로 단 몇 분 만에 첫 번째 클러스터를 만들 수 있습니다. 다음을 수행할 수 있습니다. 클릭 한 번으로 평가판 시작.

귀하의 이름, 이메일및 조직 이름. 이메일이 확인되면 평가판을 시작할 수 있습니다. 원하는 평가판을 선택하기만 하면 됩니다. AWS 지역 를 클릭하고 "평가판 시작"을 클릭합니다.

이 평가판에서는 AWS에 단일 노드 Couchbase 클러스터를 생성합니다. 클러스터가 생성되면 이 예제에 대한 데이터 버킷을 구성해야 합니다.

다음으로 이동합니다. 클러스터 > 평가판 클러스터 > 버킷 > 버킷 만들기. 버킷의 이름을 지정합니다. 세계.

클릭 다음 을 클릭하고 계속하려면 기본값을 수락한 다음 버킷 만들기. 또한 여행 샘플 버킷으로 이동하여 도구 > 가져오기 를 클릭하고 아래로 스크롤하여 여행 샘플 을 클릭하고 가져오기.

이제 원격 워크스테이션에서 클러스터에 대한 액세스를 구성해야 합니다.

다음으로 이동합니다. 클러스터 > 평가판 클러스터 > 연결 를 클릭하고 아래로 스크롤하여 데이터베이스 액세스 > 자격 증명 관리를 클릭한 다음 +데이터베이스 자격 증명 만들기.

아래의 드롭다운을 사용해야 합니다. 버킷 수준 액세스 을 클릭하고 세계, 모든 범위, 그리고 읽기/쓰기 을 클릭한 다음 만들기. 에 대해 반복합니다. 여행 샘플 버킷.

카펠라에 로컬 IP 액세스 허용

다음으로, 로컬에서 Talend Studio를 실행할 것이므로 로컬 워크스테이션에 대한 액세스를 구성해야 합니다. 다음 위치로 이동합니다. 연결 > 허용된 IP 관리. 거기에서 + 내 IP 추가.

현재로서는 카우치베이스 카펠라 구성이 완료되었습니다.

MySQL 샘플 데이터베이스 설치

다음으로 로컬 워크스테이션에서도 실행 중인 MySQL 서버를 설치 및/또는 구성해야 합니다. 저는 macOS와 홈브루 를 클릭하여 추가 패키지를 설치합니다.

홈브루를 통해 MySQL을 설치하려면 터미널을 열고 입력합니다: brew install mysql . 

다운로드하여 가져오기 세계 데이터베이스:

• 다운로드 world.sql
• 아직 시작하지 않았다면 MySQL 서버를 시작하고 서버에 연결합니다:
  sudo mysql -u root -p
  
• 만들기 세계 데이터베이스:
  데이터베이스 세계 만들기;
• 다음에서 콘텐츠 로드 세계 데이터베이스:
  USE 세상;
  출처 world.sql;
• 월드 데이터베이스가 올바르게 가져왔는지 확인합니다:
  표 표시;
• 출력에는 3개의 테이블이 표시되어야 합니다: 도시, 국가 그리고 국가언어

이제 설치할 차례입니다. Talend Studio. Talend Cloud에서 Talend Studio 8.0.1을 다운로드할 수 있습니다. 사용자로 이동하여 다운로드:

드롭다운에서 Talend Studio 및 플랫폼과 버전 8.0.1을 선택합니다.

참고: Talend는 Java 11을 권장합니다. 이 실습에서는 Homebrew를 통해 설치된 OpenJDK-11을 사용하고 있습니다:

% brew install openjdk@11

Talend Studio가 설치되면 라이선스 계약에 동의하고 라이선스 파일 또는 Talend Cloud에 대한 연결을 제공합니다.

Talend Studio용 Couchbase 커넥터 설치

Talend Studio를 시작한 후 계속 진행하려면 Couchbase 커넥터를 설치해야 합니다. 다음을 탐색합니다. 도움말 를 기능 관리자 를 검색하고 카우치베이스.

Talend Studio를 시작한 후 다음 위치로 이동합니다. 직무 디자인 > 표준 을 클릭하고 새 작업를 클릭하고 이름을 입력합니다. MySQLToCouchbase통합 를 클릭하고 완료.

이렇게 하면 작업 아티팩트를 끌어서 놓을 수 있는 패널이 생성되고 오른쪽에 팔레트가 표시됩니다. 팔레트에서 tMyslInput 위젯을 왼쪽으로 클릭합니다. 아래에서 위젯을 찾습니다. 데이터베이스/MySQL.

팔레트에서 끌어서 놓기 tCouchbaseOutput 위젯(아래에서 찾을 수 있습니다. NoSQL 데이터베이스/카우치베이스)을 오른쪽으로 클릭합니다.

를 두 번 클릭합니다. tMysqlInput 를 클릭하면 패널에 구성 요소 패널을 클릭합니다.

MySQL 데이터베이스 연결 정보를 입력합니다.

• 를 클릭하고 ... 버튼의 오른쪽에 있는 테이블 이름확장 세계 을 클릭하고 도시 항목을 클릭하고 확인 버튼을 클릭합니다.
• 기본 쿼리를 제거하고 다음으로 바꿉니다:
  SELECT * FROM City

아래는 스크린샷의 예시입니다:

대상 스키마 구성

를 클릭하고 스키마 추측 버튼을 클릭합니다. 이렇게 하면 스키마 창을 클릭하고 창을 적절히 이동하고 크기를 조정합니다.

다음과 같이 변경하여 스키마를 편집합니다:

• • 다음에 대해 Null 가능을 선택합니다. ID
  • 다음에 대해 Null 가능을 선택합니다. 인구
  • 변경 ID 유형을 문자열로

DB 유형을 다음과 같이 설정하고 확인:

• • INT ID
  • 필드용 VARCHAR 이름, 국가 코드 및 지구
  • INT 인구

이 스크린샷은 이러한 모든 스키마 설정을 보여줍니다:

왼쪽 클릭 tMysqlInput 을 클릭한 다음 마우스 오른쪽 버튼을 클릭하여 행/메인 에서 화살표를 드래그하여 tMysqlInput 컴포넌트를 tCouchbaseOutput. 둘 사이에 화살표가 만들어져야 합니다.

이제 연결 엔드포인트를 가져오기 위해 Couchbase Capella 콘솔로 다시 이동하겠습니다. 다음 위치로 이동합니다. 클러스터 > 평가판 클러스터 > 연결 를 클릭하고 광역 네트워크 엔드포인트 주소:

왼쪽 클릭 tCouchbaseOutput 를 클릭하면 패널에 구성 요소 패널을 클릭합니다.

패널에 Couchbase 데이터베이스 연결 정보를 입력합니다. 모든 필드는 큰따옴표(예: "...")로 묶어야 합니다:

• • 그리고 부트스트랩 노드 필드는 이전 단계에서 수집한 값으로, 앞의 카우치베이스://
  • 이전에 Capella 콘솔에서 생성한 자격 증명을 제공하여 액세스합니다.
  • 버킷 이름을 다음과 같이 설정합니다. 세계.
  • 기본 문서 유형은 JSON.
  • ID로 사용할 필드를 다음과 같이 그대로 둡니다. "ID".

를 클릭하고 실행 패널을 사용하여 작업을 빌드하고 실행합니다. 진행 상황을 확인할 수 있습니다. Job 창으로 이동합니다.

작업이 완료되면 4079개의 문서가 문서 저장소에 추가됩니다. 세계 버킷:

Capella 콘솔에 직접 또는 웹 컨트롤 플레인을 통해 액세스하여 월드 버킷에 로드되었는지 확인할 수 있습니다.

그리고 문서 보기에는 현재 로드된 내용이 표시됩니다:

Couchbase 입력을 위한 Talend 구성 요소 설정

다음으로 Couchbase를 입력으로 사용하여 N1QL 쿼리를 실행해 보겠습니다. 이렇게 하면 Couchbase 범위 및 컬렉션과 상호 작용할 수 있습니다.

다음으로 이동합니다. 직무 디자인 > 표준 을 클릭하고 새 작업 - 이름을 입력합니다. 카우치베이스 입력 를 클릭하고 완료.

팔레트에서 tCouchbaseInput 위젯을 왼쪽으로 클릭합니다. 아래에서 위젯을 찾습니다. 데이터베이스 NoSQL/카우치베이스.

팔레트에서 tLogRow 위젯( 로그 및 오류)을 오른쪽으로 클릭합니다.

를 두 번 클릭합니다. tCouchbaseInput 을 클릭하면 패널에 구성 요소 패널을 클릭합니다. Couchbase 데이터베이스 연결 정보를 입력합니다. 에서 쿼리 유형 드롭다운에서 N1QL 를 클릭하고 다음과 같이 쿼리를 입력합니다:

아래는 어떻게 표시되는지 보여주는 스크린샷 예시입니다:

왼쪽 클릭 tLogRow 를 클릭하면 패널에 구성 요소 패널을 클릭합니다.

필드 구분 기호를 “|” 에 “” 을 클릭하고 인쇄 헤더.

두 구성 요소를 연결합니다.

작업을 실행합니다. 성공하면 다음과 같은 값을 반환합니다. 영국.

Talend 및 CouchBase 학습 계속하기

다음은 더 자세히 알아볼 수 있는 몇 가지 추가 리소스입니다:

• • 자세히 알아보기 Talend 데이터 패브릭.
  • 액세스 Talend Couchbase 커넥터.
  • 시작하기 카우치베이스 카펠라.
  • 궁금한 점이 있으면 다음 주소로 문의하세요. partners@couchbase.com.