Confluent Cloud를 위한 완전 관리형 Couchbase 커넥터 소개

실시간 애플리케이션을 구축하려면 다음과 같은 데이터 스트리밍 플랫폼에 Couchbase와 같은 운영 데이터베이스를 연결해야 하는 경우가 많습니다. Confluent. 그러나 이러한 통합을 관리하는 일은 복잡할 수 있으며, 팀에서 커넥터를 배포하고, 네트워킹을 구성하고, 스키마를 관리하고, 성능을 모니터링해야 합니다. 이러한 문제로 인해 개발 속도가 느려지고 운영 오버헤드가 증가합니다.

이제 두 가지 버전으로 제공되는 완전 관리형 Confluent Cloud용 Couchbase 커넥터를 발표하게 되어 기쁘게 생각합니다. 싱크 그리고 출처 구성을 지원합니다. 이번 출시로 커넥터 인프라를 관리할 필요가 없어져 Confluent Cloud와 Couchbase 간에 원활한 양방향 데이터 이동이 가능해졌습니다. 이는 실시간 이벤트 중심 애플리케이션을 구축하는 개발자와 플랫폼 팀의 복잡성을 줄이고 가치 창출 시간을 단축하는 데 있어 중요한 진전입니다.

완전 관리형 커넥터가 중요한 이유

자체 Apache Kafka® 커넥터를 관리하는 일은 복잡하고 시간이 많이 소요될 수 있습니다. 플러그인을 다운로드하고 토픽을 가리키는 것 이상의 작업이 필요합니다. 사용자가 해야 합니다:

• • Kafka Connect 클러스터를 배포하고 확장하세요.
  • 성능, 오류 및 재시도를 모니터링하세요.
  • 스키마 레지스트리를 통해 스키마 호환성을 보장합니다.
  • 안전한 인증 및 네트워킹을 유지하세요.
  • 다양한 부하 조건에 맞게 인프라를 확장하세요.

이 모든 것이 핵심 비즈니스 목표에 방해가 되는 운영 오버헤드로 이어집니다. Confluent Cloud의 완전 관리형 커넥터는 이러한 문제를 해결해 줍니다. UI 또는 API를 통해 구성하기만 하면 배포, 확장, 오류 처리 및 수명 주기 관리 등 나머지는 Confluent에서 처리하므로 사용자는 실시간 앱 빌드에만 집중할 수 있습니다.

사용 사례

이제 실시간 데이터 이동이 간소화되어 개발자는 다음과 같은 강력한 사용 사례를 개발할 수 있습니다:

• • 리테일: 클릭스트림 또는 인벤토리 업데이트를 Couchbase로 스트리밍하여 실시간 개인화를 위한 사용자 프로필 보강을 강화하세요.
  • IoT: 실시간 분석 및 대시보드를 위해 엣지 데이터를 Couchbase로 수집합니다.
  • 금융: 사기 탐지 또는 거래 시스템의 Kafka 이벤트를 Couchbase에 지속시켜 즉시 조회 및 알림을 받을 수 있습니다.
  • AI: 조직은 Confluent의 실시간 데이터 스트리밍과 Couchbase 벡터 스토어를 결합하여 데이터를 원활하게 수집하고 운영하여 지능형 실시간 에이전트 및 RAG 애플리케이션을 구동할 수 있습니다.

카우치베이스 싱크 커넥터

그리고 카우치베이스 싱크 커넥터 를 사용하면 Kafka 토픽의 데이터를 Couchbase 컬렉션으로 직접 스트리밍할 수 있습니다. 스키마 없는 마이크로서비스 아키텍처를 실행하든, 강력한 타입의 스키마 파이프라인을 사용하든 상관없이 AVRO, JSON, JSON 스키마, PROTOBUF 및 BYTES를 비롯한 다양한 데이터 형식을 지원합니다.

주요 기능

• • 최소 한 번 이상 배달 의미론: 일시적 장애 시에도 신뢰성 보장
  • 세분화된 주제-컬렉션 간 매핑: 다음을 사용하여 Kafka 주제를 특정 Couchbase 컬렉션으로 라우팅합니다. couchbase.topic.to.collection
  • 사용자 지정 문서 ID 로직: 다음을 통해 문서 키 생성 방법을 재정의합니다. couchbase.topic.to.document.id
  • 유연한 핸들러: 기본 제공 또는 사용자 지정 싱크 핸들러를 사용하여 레코드 변환 방식 사용자 지정
  • 보안 인증: 비밀번호 기반 인증으로 안전하게 연결

단계별 설정: 카우치베이스 싱크 커넥터

전제 조건

Confluent Cloud에서 Couchbase 싱크 커넥터를 구성하기 전에 다음 필수 구성 요소를 충족하는지 확인하세요:

• • 컨플루언트 클라우드: Confluent Cloud(AWS, Azure 또는 GCP에서)에서 실행 중인 Kafka 클러스터. 아직 Confluent 고객이 아니신가요? 시작하세요. 컨플루언트 클라우드 무료 평가판 오늘 신규 가입자에게는 첫 30일 동안 사용할 수 있는 $400이 제공됩니다.
  • 카우치베이스 데이터베이스: Confluent Cloud에서 액세스할 수 있는 Couchbase Server 또는 Capella 클러스터입니다.
  • 네트워킹:
    • 가장 낮은 비용과 최상의 지연 시간을 위해 Kafka와 Couchbase 클러스터는 동일한 클라우드 리전에 있어야 합니다.
    • 공용 IP, VPC 피어링 또는 AWS PrivateLink와 같은 사설 엔드포인트를 통해 네트워크 연결을 보장합니다.
  • 인증 자격 증명:
    • 대상 버킷 및 컬렉션에 대한 쓰기 권한이 있는 카우치베이스 사용자 이름과 비밀번호입니다.
    • 커넥터에 대한 Kafka 서비스 계정 또는 API 키/비밀번호입니다.
  • 스키마 레지스트리(입력된 형식을 사용하는 경우):
    • AVRO, JSON 스키마 또는 PROTOBUF 메시지 형식에 대해 스키마 레지스트리를 사용하도록 설정합니다.
  • 카프카 주제:
    • 스트리밍할 기존 Kafka 토픽이 하나 이상 있거나 설정 중에 새 토픽을 만들어야 합니다.

Confluent Cloud 콘솔에서 설정하기

1단계: Confluent Cloud Kafka 클러스터 시작하기
클라우드 제공자 및 지역에서 Couchbase 배포와 일치하는 Kafka 클러스터를 생성하세요.

2단계: 커넥터 탭으로 이동합니다.
Confluent Cloud 콘솔로 이동하여 커넥터 탭을 클릭합니다. 클릭 + 커넥터 추가.

3단계: 카우치베이스 싱크 커넥터 선택하기
검색하여 선택합니다. 카우치베이스 싱크대 커넥터 카드를 카탈로그에 추가합니다.

4단계: 커넥터 설정 구성

다음을 입력하라는 메시지가 표시됩니다:

• • 카프카 주제 에서 소비할 수 있습니다.
  • 카우치베이스 연결 세부 정보:
    • 호스트 이름 또는 연결 문자열
    • 버킷, 범위 및 컬렉션 이름
    • 인증을 위한 사용자 이름 및 비밀번호
  • 입력 데이터 형식 (AVRO, JSON 등)
  • 스키마 레지스트리 구성 (해당되는 경우)
  • 싱크 동작 매개변수와 같이:
    • couchbase.topic.to.collection
    • couchbase.topic.to.document.id
    • couchbase.sink.handler
  • 배달 의미론 그리고 오류 처리 옵션
  • 크기 조정: 용량 또는 자동 확장 옵션 선택

5단계: 커넥터 검토 및 실행

모든 구성을 검토한 후 시작. 커넥터가 배포되고 Kafka에서 Couchbase로 레코드 수집이 시작됩니다.

6단계: 데이터 수집 확인

커넥터가 실행되면 데이터가 예상대로 Couchbase 컬렉션에 도착하는지 확인합니다. Couchbase UI 또는 쿼리 도구를 사용하여 수집된 문서를 검사합니다.

카우치베이스 소스 커넥터

카우치베이스에 글을 쓰는 것 외에도 카우치베이스 소스 커넥터 를 통해 사용자는 Couchbase에서 Kafka로 데이터를 수집하여 운영 데이터로 구동되는 강력한 이벤트 기반 아키텍처와 AI/ML 파이프라인을 구현할 수 있습니다.

주요 기능

• • 변경 데이터 캡처(CDC) 지원: Couchbase의 데이터베이스 변경 프로토콜(DCP)을 활용하여 Couchbase 컬렉션의 삽입, 업데이트 및 삭제를 Kafka로 스트리밍합니다.
  • 컬렉션별 주제 매핑: 다음을 사용하여 카우치베이스 컬렉션을 카프카 주제에 자동으로 매핑합니다. couchbase.collection.to.topic.
  • 유연한 읽기 전략: 전체 버킷 스트리밍, 타임스탬프 기반 증분 읽기, DCP를 사용한 실시간 스트리밍을 지원합니다.
  • 스키마 인식 직렬화: 선택 사항인 Confluent 스키마 레지스트리 통합을 통해 AVRO, JSON, PROTOBUF 및 JSON 스키마 형식을 지원합니다.
  • 사용자 지정 필터링 및 투영: 속성, 유형 또는 사용자 지정 논리를 기반으로 문서를 포함하거나 제외하도록 필터를 구성할 수 있습니다.
  • 내구성 있는 오프셋 추적: 문서 및 컬렉션별로 읽기 진행률을 추적하여 연속성을 보장하고 재시작 시 재처리를 최소화합니다.
  • 보안 인증: 비밀번호 기반 인증을 사용하며 Couchbase에 대한 TLS 연결을 지원합니다.
  • 자동 생성된 카프카 주제: 미리 정의되지 않은 경우 컬렉션 매핑을 기반으로 카프카 토픽을 동적으로 생성합니다.

단계별 설정: 카우치베이스 소스 커넥터

전제 조건

• • 사용 가능한 소스 커넥터 슬롯이 있는 Confluent Cloud 클러스터
  • DCP가 활성화된 Couchbase 클러스터(엔터프라이즈 에디션) 또는 완전 관리형 Couchbase Capella 배포판
  • Confluent Cloud에서 Couchbase로의 네트워크 접근성(공용 IP 또는 PrivateLink를 통한)
  • 토픽 매핑을 통해 미리 생성되거나 동적으로 정의된 Kafka 토픽
  • 입력된 메시지 형식에 대해 스키마 레지스트리 활성화

Confluent Cloud 콘솔에서 설정하기

1단계: Confluent 클러스터 시작하기
Confluent Cloud 클러스터가 실행 중이고 Couchbase와 동일한 지역에 있는지 확인하세요.

2단계: 커넥터 페이지로 이동합니다.
클릭 + 커넥터 추가 Confluent Cloud UI에서

3단계: Couchbase 소스 커넥터 선택
를 선택하고 카우치베이스 소스 커넥터

4단계: 연결 매개변수 구성

• • 카우치베이스 호스트 및 포트
  • 버킷, 범위, 컬렉션 설정
  • 폴링 모드: 전체 스캔, 타임스탬프가 포함된 증분 또는 DCP 기반 CDC
  • 문서 필터링 옵션
  • 데이터 형식: JSON, AVRO, 프로토부프
  • 카프카 주제 이름 지정 전략(예, couchbase.collection.to.topic)

5단계: 인증 및 보안

• • Couchbase 액세스를 위한 자격 증명 입력
  • 필요한 TLS 또는 암호화 설정을 구성합니다.
  • 네트워크 연결 설정(VPC 피어링, PrivateLink 또는 공용 IP)

6단계: 실행 및 모니터링

검토 후 커넥터를 배포합니다. Confluent Cloud의 모니터링 도구 또는 토픽 뷰어를 사용하여 Kafka 토픽으로의 기록 흐름을 모니터링합니다.

일단 라이브 상태가 되면 커넥터는 Couchbase 데이터베이스에서 이벤트를 스트리밍합니다. 인프라가 관리, 확장 및 디버깅됩니다.

최적의 비용과 성능을 위해 Couchbase 서비스와 Kafka 클러스터가 동일한 클라우드 리전에 있는지 확인하세요. 더 나은 성능과 더 낮은 비용을 위해 필요에 따라 프라이빗 엔드포인트 또는 VPC 피어링을 구성하는 것을 고려하세요.

튜토리얼 보기 비디오 를 참조하여 Confluent Cloud용 완전 관리형 Couchbase 커넥터를 설정하고 구성하는 방법을 알아보세요. 몇 번의 클릭만으로 Kafka 토픽을 연결하고, Couchbase 설정을 구성하고, 데이터 스트리밍을 시작하는 방법을 확인할 수 있습니다.

오늘 체험해 보세요

이제 Confluent Cloud에서 완전 관리형 Couchbase 커넥터를 사용할 수 있으므로 최소한의 설정과 최대의 운영 효율로 최신 이벤트 중심 애플리케이션을 빠르게 구축할 수 있습니다.

시작할 준비가 되셨나요?

• • 로그인 컨플루언트 클라우드 또는 컨플루언트 클라우드 무료 평가판
  • 실행 카우치베이스 싱크대 또는 소스 커넥터 단 몇 분 만에
  • 구성 가이드에 따라 구성하세요:
    • 카우치베이스 싱크 커넥터
    • 카우치베이스 소스 커넥터