카우치베이스 플링크 커넥터가 버전 0.5.0으로 업데이트되었습니다.
Apache Flink는 무제한 및 무제한 데이터 스트림에 대한 상태 저장 연산을 위한 프레임워크이자 분산 처리 엔진입니다. Flink는 모든 일반적인 클러스터 환경에서 실행되도록 설계되었으며, 인메모리 속도와 규모에 관계없이 계산을 수행합니다.
최근 업데이트된 Couchbase 커넥터를 통해 Flink 프로젝트는 데이터를 저장하고 검색할 뿐만 아니라 클러스터에 적용되는 데이터의 변경 사항을 구독하고 이에 반응하는 데에도 Couchbase 클러스터를 사용할 수 있습니다. 이 기능은 Couchbase 클러스터에서 데이터 변경 프로토콜 스트림을 직접 읽어오는 방식으로 구현됩니다.
이번 Flink 커넥터 릴리스에는 몇 가지 눈에 띄는 변경 사항이 있습니다:
- 이제 Flink 2.1.1이 커넥터에서 지원됩니다.
- 카우치베이스 자바 SDK가 최신 버전으로 업데이트되었습니다.
- DCP 라이브러리 종속성이 최신 버전으로 업데이트됩니다.
이 새 버전은 Flink 2.1.1에 대한 지원을 도입하는 것 외에도 Couchbase 종속성을 업데이트하고 이전에 더 이상 사용되지 않는 API를 제거합니다.
커넥터는 Maven 리포지토리에서 설치할 수 있습니다:
또는 다음 GitHub 리포지토리에 있는 소스를 사용하여 빌드할 수도 있습니다: https://github.com/couchbaselabs/flink-connector-couchbase.
커넥터는 다음과 같은 Flink 클래스를 제공합니다:
카우치베이스DCPS소스- 실시간 돌연변이 처리를 위해 Couchbase DCP 스트림을 구독합니다.카우치베이스 쿼리 소스- SQL++ 쿼리를 실행하고 결과를 Flink로 스트리밍합니다.카우치베이스 컬렉션 싱크- 카우치베이스 컬렉션에 문서를 저장합니다.
커넥터 사용 방법을 보여주는 작은 예제 Java 프로젝트는 다음에서 찾을 수 있습니다. 예제 폴더에 저장합니다: https://github.com/couchbaselabs/flink-connector-couchbase/tree/master/examples
커넥터 라이브러리는 현재 실험적인 알파 단계에 있습니다. 커뮤니티의 피드백과 기여를 환영합니다. 커넥터를 사용할 때 문제가 발생하거나 피드백이 있는 경우 프로젝트 리포지토리에서 GitHub 이슈를 개설해 주세요: https://github.com/couchbaselabs/flink-connector-couchbase/issues
