Vemos que um número significativo de clientes aproveita a integração do Couchbase com Apache Kafka usando o plug-in do conector do Couchbase Kafka para transmitir dados de forma confiável de e para o Apache Kafka em escala.

O Apache Kafka é uma plataforma de código aberto para a criação de pipelines e aplicativos de dados de streaming em tempo real. No entanto, é necessário ter experiência em gerenciamento de infraestrutura do Apache Kafka para arquitetar, operar e gerenciá-lo por conta própria. O Amazon Managed Streaming for Apache Kafka (Amazon MSK) é um serviço totalmente gerenciado e altamente disponível que facilita a criação e a execução de aplicativos que usam o Apache Kafka. 

O Amazon MSK oferece suporte à integração com o Couchbase com o recurso Amazon MSK Connect e o plug-in do conector Couchbase Kafka. Com esse recurso, você pode implantar facilmente o conector do Couchbase e dimensioná-lo para se ajustar às mudanças na carga.

Nesta postagem do blog, examinaremos a configuração do cluster do Amazon MSK e usaremos o Couchbase Kafka Connector como "pia" e "fonte". 

Etapa 1: cluster do Couchbase Capella

Etapa 2: cluster do Amazon MSK e cliente do Amazon EC2

Usando o AWS CloudFormation

Para começar facilmente, podemos usar Modelo CloudFormation para soluções de dados de streaming para MSK que implementa um cluster do Amazon MSK e um cliente do Amazon EC2.

    • Conecte-se ao Cliente Kafka instância usando a opção do Session Manager

    • Instale o Git e o Apache Maven do Cliente Kafka instância

    • Criar um tópico de fonte e coletor de amostras no cluster MSK para 

    • Abrir o arquivo src/main/java/com/couchbase/connect/kafka/example/JsonProducerExample.java e atualize o arquivo de código-fonte Java na linha 38 com o Corretor de cluster do Kafka ponto de conexão

Etapa 3: Configurar o plug-in MSK Connect

    • Faça o download do Plug-in do Couchbase Kafka Connect ZIP
    • Carregue o arquivo ZIP em um bucket S3 ao qual você tenha acesso
    • Abra o Console MSK da Amazon. No painel esquerdo, expanda Conexão MSKe, em seguida, escolha Plug-ins personalizados.
    • Escolha Criar um plug-in personalizado
    • Escolha Procurar S3. Na lista de compartimentos, localize o compartimento em que você carregou o arquivo ZIP e, em seguida, na lista de objetos, selecione o arquivo ZIP.
    • Entrar conexão couchbase-kafka como nome do plugin personalizado e, em seguida, selecione Criar plugin personalizado.

Etapa 4: Criar conector MSK para o coletor

    • Usando o plug-in personalizado, agora podemos criar um conector de pia. Abra o Console MSK da Amazon. No painel esquerdo, em Conexão MSK, escolha Conectores. Escolha Criar conector.
    • Escolha o plug-in personalizado couchbase-kafkaconnect e selecione Avançar
    • Entrar couchbase-sink-example como Nome do conector
    • Selecione o cluster MSK criado na Etapa 2

Etapa 5: Criar conector MSK para a origem

    • Usando o plug-in personalizado, agora podemos criar um conector de pia. Abra o Console MSK da Amazon. No painel esquerdo, em Conexão MSK, escolha Conectores. Escolha Criar conector.
    • Escolha o plug-in personalizado couchbase-kafkaconnect e selecione Next.
    • Entrar couchbase-source-example como Nome do conector
    • Selecione o cluster MSK criado na Etapa 2.

    • Obtenha a string de conexão do Zookeeper e a string de conexão do Kafka Cluster Bootstrap na página "View Client Information" (Exibir informações do cliente) em seu cluster MSK e usar no comando abaixo:

    • Atualize a linha 38 do código-fonte com a string de conexão do MSK Cluster Bootstrap.

    • Selecione Salvar regras. Seu cluster MSK agora aceitará todo o tráfego do cliente que você criou no procedimento anterior.

Configurar Plug-in MSK Connect 

Etapas para criar um cliente para se conectar ao cluster MSK

    • Criar cliente Kafka na instância do Amazon EC2 
    • Esse cliente será usado para enviar mensagens a um tópico de coletor de dados do couchbase no cluster do MSK e para monitorar o tópico de origem do couchbase quanto a mensagens transmitidas para o cluster do MSK.
    • Verifique o cluster Status no Resumo do cluster página. O status muda de Criação de para Ativo à medida que o Amazon MSK provisiona o cluster. Quando o status for Ativovocê pode se conectar ao cluster. Para obter mais informações sobre o status do cluster, consulte Estados do cluster.

Configurar o plug-in Kafka Connect do Couchbase

    • Faça o download do Plug-in do Couchbase Kafka Connect ZIP
    • Carregue o arquivo ZIP em um bucket S3 ao qual você tenha acesso
    • Abra o Console MSK da Amazon. No painel esquerdo, expanda Conexão MSKe, em seguida, escolha Plug-ins personalizados.
    • Escolha Criar um plug-in personalizado
    • Escolha Procurar S3. Na lista de compartimentos, localize o compartimento em que você carregou o arquivo ZIP e, em seguida, na lista de objetos, selecione o arquivo ZIP.
    • Entrar conexão couchbase-kafka como nome do plugin personalizado e, em seguida, selecione Criar plugin personalizado.

Configurar o Conector MSK do Couchbase para operação de sink

    • Crie uma função de IAM para a conexão MSK com base na exemplo de política.
    • Copie a configuração a seguir e cole-a no campo de configuração do conector.

Conclusão

Esta postagem ilustra como você pode usar o "conector de origem" do Couchbase para publicar notificações de alteração de documentos do Couchbase Capella em um tópico do Kafka, bem como um "conector de destino" que assina um ou mais tópicos do Kafka e grava as mensagens no Couchbase Capella.

Autor

Postado por Saurabh Shabhag, arquiteto de soluções de parceiros, AWS

Todas as publicações

Deixar uma resposta