최근 몇 달 동안 Kafka 커넥터는 버전 3.2.3의 로그 삭제, 3.2.2의 구성 가능한 내구성 요구 사항, 새로운 소스 핸들러 3.2.0의 사용자 지정 처리를 위한 확장 지점입니다.
이제 Couchbase Server 5.5의 출시가 임박함에 따라, 엔터프라이즈 에디션에서 사용할 수 있는 몇 가지 흥미로운 새 기능을 활용할 수 있도록 Kafka 커넥터를 다시 업데이트했습니다.
트릭 가방에 IPv6 추가(또는 "쿼드에 두 개의 IP처럼")
업계 전반에서 IPv6로의 마이그레이션이 한창 진행 중입니다. As 3월에 페리 크루그가 쓴 글카우치베이스는 곧 출시될 5.5 릴리스에서 IPv6를 지원하여 파티에 합류할 예정입니다.
버전 3.2.3에서는 Java 시스템 속성을 설정하여 IPv6에서 작동하도록 만들 수 있었습니다. 하지만 이는 불편했기 때문에 버전 3.3에서는 기본적으로 IPv6 지원을 사용하도록 설정했습니다.
대부분의 경우 커넥터는 구성을 조정할 필요 없이 계속 IPv4로 작동합니다. 그러나 IPv4를 사용하도록 호스트 이름 확인을 강제해야 하는 이중 스택 환경에 있는 경우 원하는 동작을 얻으려면 couchbase.forceIPv4 구성 속성을 true.
리소스 활용도 향상을 위한 데이터 압축(또는 '저스트 스퀴즈 미')
차이트라 라마라오가 훌륭한 소개 글을 썼습니다. Couchbase Server 5.5에 제공되는 데이터 압축 기능. 성능 테스트 결과 압축을 활성화하면 처리량을 크게 향상시킬 수 있다는 사실이 밝혀져 Kafka 커넥터 3.3에서 압축을 기본으로 활성화했습니다.
압축 설정을 조정하려는 경우 모든 권한은 사용자에게 있습니다. 압축 설정을 조정하려면 couchbase.compression 구성 속성을 사용하여 사용할 압축 모드를 지정할 수 있습니다. 선택할 수 있는 모드는 두 가지입니다("비활성화"를 포함하면 세 가지). 자세히 살펴보겠습니다.
새로운 기본 모드는 다음과 같습니다. 사용 가능. 이 모드에서는 데이터를 압축된 형태로 Kafka 커넥터로 전송할 수 있는 권한을 Couchbase Server에 부여합니다. 문서를 압축하면 서버가 더 많은 작업을 수행해야 하는 경우 여전히 압축되지 않은 문서를 보낼 수 있습니다. 그러나 대부분의 경우 서버는 이미 압축된 형식에 쉽게 액세스할 수 있으며, 문서는 압축된 상태로 전송됩니다. 성능 테스트 결과 클러스터의 재량에 따라 압축을 사용할 때 전반적으로 성능이 향상되는 것으로 나타나 이 모드를 기본 모드로 설정했습니다.
두 번째 압축 모드는 강제. 이 모드에서는 네트워크 대역폭이 부족하여 서버가 압축된 형식으로 문서를 보내기 위해 최대한 노력하도록 Couchbase Server에 지시하는 것입니다. 예상할 수 있듯이 이 모드에서는 서버가 더 많은 작업을 수행해야 하므로 대역폭 사용량을 줄이는 대신 클러스터 측에서 약간의 추가 CPU를 사용하게 됩니다.
압축을 해제하려면 사용 안 함 모드로 설정합니다. 압축을 비활성화하면 클러스터가 각 문서를 커넥터로 보내기 전에 압축을 풀어야 하므로 CPU 사용량이나 처리량/대기 시간이 변경될 수 있다는 점에 유의하세요.
선택한 압축 모드에 관계없이 문서는 압축되지 않은 형태로 Kafka 주제에 게시됩니다.
여기까지입니다. 카프카 커넥터를 다운로드하고 직접 사용해 보려면 다음을 확인하세요. 빠른 시작 가이드. 궁금한 점이 있으면 카프카 커넥터 카테고리 카우치베이스 포럼에서!
