Confluent Cloud용 완전 관리형 카우치베이스 커넥터 소개

실시간 애플리케이션을 구축할 때는 종종 Couchbase 같은 운영 데이터베이스를 다음과 같은 데이터 스트리밍 플랫폼과 연결해야 합니다. 콘플루언트. 그러나 이러한 통합을 관리하는 것은 복잡할 수 있으며, 팀이 커넥터를 배포하고, 네트워킹을 구성하고, 스키마를 관리하고, 성능을 모니터링해야 합니다. 이러한 과제들은 개발 속도를 늦추고 운영 오버헤드를 증가시킵니다.

Confluent Cloud용 완전 관리형 Couchbase 커넥터를 발표하게 되어 기쁩니다. 이제 다음에서 모두 이용하실 수 있습니다. 싱크대 그리고 출처 configurations. 이 출시를 통해 커넥터 인프라를 관리할 필요가 없어지며, Confluent Cloud와 Couchbase 간에 원활한 양방향 데이터 이동이 가능해집니다. 이는 실시간 이벤트 기반 애플리케이션을 구축하는 개발자와 플랫폼 팀의 복잡성을 줄이고 가치 창출 시간을 단축하는 데 있어 중요한 도약입니다.

완전 관리형 커넥터가 중요한 이유

자체 Apache Kafka® 커넥터를 관리하는 것은 복잡하고 시간이 오래 걸릴 수 있습니다. 이는 플러그인을 다운로드하고 토픽을 지정하는 것 이상의 많은 작업을 요구합니다. 사용자는 다음을 수행해야 합니다.

• Kafka Connect 클러스터를 배포하고 확장합니다.
• 성능, 오류, 재시도를 모니터링하세요.
• 스키마 레지스트리를 통해 스키마 호환성을 보장합니다.
• 안전한 인증과 네트워킹을 유지하십시오.
• 가변 부하 조건에 맞춰 인프라를 확장하세요.

이 모든 것은 핵심 비즈니스 목표를 방해하는 운영 오버헤드로 이어집니다. Confluent Cloud의 완전 관리형 커넥터는 이러한 과제들을 없애줍니다. UI나 API를 통해 구성하기만 하면 배포, 확장, 오류 처리, 수명 주기 관리를 포함한 나머지는 Confluent가 알아서 처리하므로, 실시간 앱 구축에 집중할 수 있습니다.

사용 사례

실시간 데이터 이동이 간단해짐에 따라 개발자는 다음과 같은 강력한 사용 사례를 활용할 수 있습니다.

• 소매클릭스트림 또는 재고 업데이트를 Couchbase로 스트리밍하여 실시간 개인화를 위한 사용자 프로필 강화를 지원합니다.
• 사물인터넷실시간 분석 및 대시보드를 위해 엣지 데이터를 Couchbase로 수집합니다.
• 재정사기 탐지 또는 거래 시스템의 Kafka 이벤트를 Couchbase에 지속해서 저장하여 즉시 조회 및 경고를 수행합니다.
• 인공지능Confluent의 실시간 데이터 스트리밍과 Couchbase 벡터 저장소를 결합함으로써, 기업들은 지능적이고 실시간인 에이전틱 및 RAG 애플리케이션을 구동하기 위해 데이터를 원활하게 수집하고 운영에 활용할 수 있습니다.

카우치베이스 싱크 커넥터

그 카우치베이스 싱크 커넥터 Kafka 토픽의 데이터를 Couchbase 컬렉션으로 직접 스트리밍할 수 있게 해줍니다. 스키마가 없는 마이크로서비스 아키텍처를 사용하든 강력한 타입의 스키마 파이프라인을 구축했든 상관없이 AVRO, JSON, JSON Schema, PROTOBUF, BYTES를 비롯한 다양한 데이터 포맷을 지원합니다.

주요 기능

• 최소 한 번 전달 의미론일시적인 장애 중에도 신뢰성을 보장합니다.
• 세부적인 주제-컬렉션 매핑다음 도구를 사용하여 Kafka 토픽을 특정 Couchbase 컬렉션으로 라우팅: couchbase.topic.to.collection
• 사용자 정의 문서 ID 로직문서 키가 생성되는 방식을 재정의합니다. couchbase.topic.to.document.id
• 유연한 핸들러내장 또는 사용자 지정 싱크 핸들러를 사용하여 레코드 변환 방식 사용자 지정
• 안전한 인증비밀번호 기반 인증으로 안전하게 연결합니다.

단계별 설정: 카우치베이스 싱크 커넥터

전제 조건

Confluent Cloud에서 Couchbase 싱크 커넥터를 구성하기 전에 다음 전제 조건이 충족되었는지 확인하십시오.

• 콘플루언트 클라우드Confluent Cloud(AWS, Azure 또는 GCP)에서 실행 중인 Kafka 클러스터. 아직 Confluent 고객이 아니신가요? 다음에서 시작하세요. Confluent Cloud 무료 체험 오늘—신규 가입자분들께는 가입 후 첫 30일 동안 사용하실 수 있는 $400을 드립니다.
• 카우치베이스 데이터베이스Confluent Cloud에서 액세스할 수 있는 Couchbase Server 또는 Capella 클러스터.
• 네트워킹:
  • 비용을 가장 낮추고 지연 시간을 최소화하려면 Kafka와 Couchbase 클러스터가 동일한 클라우드 리전에 있어야 합니다.
  • 공개 IP, VPC 피어링 또는 AWS PrivateLink와 같은 프라이빗 엔드포인트를 통해 네트워크 연결을 보장하세요.
• 인증 자격 증명:
  • 대상 버킷과 컬렉션에 대한 쓰기 권한이 있는 Couchbase 사용자 이름과 비밀번호.
  • 커넥터용 카프카 서비스 계정 또는 API 키/시크릿.
• 스키마 레지스트리(형식 지정 시):
  • AVRO, JSON Schema 또는 PROTOBUF 메시지 형식에 대한 스키마 레지스트리를 활성화합니다.
• 카프카 토픽:
  • 스트리밍할 기존 Kafka 토픽이 하나 이상 있거나, 설치 중에 새로 생성해야 합니다.

Confluent Cloud 콘솔에서 설정

1단계: Confluent Cloud Kafka 클러스터 시작하기
Couchbase 배포와 일치하는 클라우드 제공업체와 리전에 Kafka 클러스터를 생성하세요.

2단계: 커넥터 탭으로 이동하세요.
Confluent Cloud 콘솔로 이동하여 다음을 클릭하세요. 커넥터 탭. 클릭 + 커넥터 추가.

3단계: 카우치베이스 싱크 커넥터 선택
검색하고 선택하세요 카우치베이스 싱크 카탈로그의 커넥터 카드.

4단계: 커넥터 설정 구성

다음 내용을 입력하라는 프롬프트가 표시됩니다:

• 카프카 토픽 ~로부터 소비하다
• 카우치베이스 연결 정보:
  • 호스트 이름 또는 연결 문자열
  • 버킷, 스코프 및 컬렉션 이름
  • 인증용 사용자 이름과 비밀번호
• 입력 데이터 형식 (AVRO, JSON 등)
• 스키마 레지스트리 구성 (해당되는 경우)
• 싱크 동작 매개변수, 예를 들면:
  • couchbase.topic.to.collection
  • couchbase.topic.to.document.id
  • couchbase.sink.handler
• 전송 의미론 그리고 오류 처리 옵션
• 사이징용량 또는 자동 확장 옵션을 선택하세요.

5단계: 커넥터 검토 및 시작

모든 설정을 검토한 후 클릭하세요. 출시. 커넥터가 배포되어 Kafka에서 Couchbase로 레코드 수집을 시작합니다.

6단계: 데이터 수집 확인

커넥터가 실행되면 데이터가 예상대로 Couchbase 컬렉션에 적재되고 있는지 확인하십시오. Couchbase UI 또는 쿼리 툴을 사용하여 수집된 문서를 검사하십시오.

카우치베이스 소스 커넥터

Couchbase에 쓰는 것 외에도 카우치베이스 소스 커넥터 사용자가 Couchbase의 데이터를 Kafka로 수집할 수 있도록 지원하며, 이를 통해 운영 데이터 기반의 강력한 이벤트 기반 아키텍처와 AI/ML 파이프라인을 구현할 수 있게 됩니다.

주요 기능

• 변경 데이터 캡처(CDC) 지원Couchbase의 DCP(Database Change Protocol)를 활용하여 Couchbase 컬렉션의 삽입, 업데이트, 삭제 이벤트를 Kafka로 스트리밍합니다.
• 컬렉션별 토픽 매핑Couchbase 컬렉션을 Kafka 토픽에 자동으로 매핑합니다. couchbase.collection.to.topic.
• 유연한 읽기 전략전체 버킷 스트리밍, 타임스탬프 기반 증분 읽기, 그리고 DCP를 이용한 실시간 스트리밍을 지원합니다.
• 스키마 인식 직렬화선택적 Confluent Schema Registry 통합과 함께 AVRO, JSON, PROTOBUF 및 JSON Schema 형식을 지원합니다.
• 사용자 지정 필터링 및 프로젝션속성, 유형 또는 사용자 정의 로직을 기반으로 문서를 포함하거나 제외하는 필터를 구성할 수 있습니다.
• 내구성 있는 오프셋 추적문서 및 컬렉션별 읽기 진행 상황을 추적하여, 재시작 시 연속성을 보장하고 재처리를 최소화합니다.
• 안전한 인증Couchbase에 대한 TLS 연결을 지원하는 비밀번호 기반 인증을 사용합니다.
• 자동 생성된 카프카 토픽미리 정의되지 않은 경우 컬렉션 매핑을 기반으로 Kafka 토픽을 동적으로 생성합니다.

단계별 설정: 카우치베이스 소스 커넥터

전제 조건

• 사용 가능한 소스 커넥터 슬롯이 있는 Confluent Cloud 클러스터
• DCP가 활성화된 Couchbase 클러스터(엔터프라이즈 에디션) 또는 완전 관리형 Couchbase Capella 배포판
• Confluent Cloud에서 Couchbase로의 네트워크 연결성(공개 IP 또는 PrivateLink 경유)
• 카프카 토픽은 미리 생성되거나 토픽 매핑을 통해 동적으로 정의됩니다.
• 형식화된 메시지 형식을 위해 스키마 레지스트리가 활성화되었습니다.

Confluent Cloud 콘솔에서 설정

1단계: Confluent 클러스터 실행하기
Confluent Cloud 클러스터가 실행 중이며 Couchbase와 동일한 리전에 있는지 확인하십시오.

2단계: 커넥터 페이지로 이동합니다.
클릭 + 커넥터 추가 Confluent Cloud UI에서

3단계: 카우치베이스 소스 커넥터 선택
선택하세요 카우치베이스 소스 커넥터

4단계: 연결 매개변수 구성

• 카우치베이스 호스트 및 포트
• 버킷, 스코프, 컬렉션 설정
• 폴링 모드: 전체 스캔, 타임스탬프 기반 증분, 또는 DCP 기반 CDC
• 문서 필터링 옵션
• 데이터 형식: JSON, AVRO, PROTOBUF
• 카프카 토픽 네이밍 전략 (예:, couchbase.collection.to.topic)

단계 5: 인증 및 보안

• Couchbase 액세스를 위한 자격 증명을 입력하세요
• 필요한 TLS 또는 암호화 설정 구성
• 네트워크 연결 설정 (VPC 피어링, PrivateLink 또는 공인 IP)

6단계: 출시 및 모니터링

검토 후 커넥터를 배포하세요. Confluent Cloud의 모니터링 도구 또는 토픽 뷰어를 사용하여 Kafka 토픽으로의 레코드 흐름을 모니터링하세요.

배포가 완료되면, 커넥터가 Couchbase 데이터베이스에서 이벤트를 스트리밍합니다. 인프라는 자동으로 관리, 확장 및 디버깅됩니다.

최적의 비용과 성능을 위해 Couchbase 서비스와 Kafka 클러스터가 동일한 클라우드 리전에 위치하도록 하세요. 더 나은 성능과 더 낮은 비용을 위해 필요에 따라 프라이빗 엔드포인트(Private Endpoint)나 VPC 피어링을 구성하는 것도 고려해 보세요.

튜토리얼을 시청하세요 비디오 완전 관리형 Confluent Cloud용 Couchbase 커넥터를 설정하고 구성하는 방법을 알아보세요. 몇 번의 클릭만으로 Kafka 토픽을 연결하고, Couchbase 설정을 구성하며, 데이터 스트리밍을 시작하는 방법을 확인할 수 있습니다.

오늘 시도해 보세요

With the fully managed Couchbase Connector now available on Confluent Cloud, you can rapidly build modern, event-driven applications with minimal setup and maximum operational efficiency.

Ready to get started?

• Log in to 콘플루언트 클라우드 or start your Confluent Cloud 무료 체험
• Launch the 카우치베이스 싱크 or Source Connector in just minutes
• Follow the guides for configuration:
  • 카우치베이스 싱크 커넥터
  • 카우치베이스 소스 커넥터