Apresentando o conector Couchbase totalmente gerenciado para o Confluent Cloud

A criação de aplicativos em tempo real geralmente requer a conexão de bancos de dados operacionais, como o Couchbase, com plataformas de streaming de dados, como Confluente. Mas o gerenciamento dessas integrações pode ser complexo, exigindo que as equipes implementem conectores, configurem redes, gerenciem esquemas e monitorem o desempenho. Esses desafios retardam o desenvolvimento e aumentam a sobrecarga operacional.

Temos o prazer de anunciar o Couchbase Connector totalmente gerenciado para o Confluent Cloud, agora disponível em ambas as versões Pia e Fonte configurações. Esse lançamento elimina a necessidade de gerenciar a infraestrutura do conector, permitindo a movimentação de dados bidirecional e contínua entre o Confluent Cloud e o Couchbase. Trata-se de um avanço significativo na redução da complexidade e na aceleração do tempo de geração de valor para desenvolvedores e equipes de plataforma que criam aplicativos em tempo real e orientados por eventos.

Por que os conectores totalmente gerenciados são importantes

O gerenciamento de seus próprios conectores Apache Kafka® pode ser complexo e demorado. É preciso muito mais do que fazer o download de um plug-in e apontá-lo para um tópico. Os usuários devem:

• • Implantar e dimensionar clusters do Kafka Connect.
  • Monitore o desempenho, os erros e as novas tentativas.
  • Garanta a compatibilidade do esquema por meio do Schema Registry.
  • Mantenha a autenticação e a rede seguras.
  • Dimensionar a infraestrutura para atender a condições de carga variáveis.

Tudo isso resulta em uma sobrecarga operacional que desvia a atenção das principais metas de negócios. Os conectores totalmente gerenciados no Confluent Cloud eliminam esses desafios. Basta configurar por meio da interface do usuário ou da API, e o Confluent cuida do resto, incluindo implantação, dimensionamento, tratamento de erros e gerenciamento do ciclo de vida, permitindo que você se concentre na criação de aplicativos em tempo real.

Casos de uso

Com a movimentação de dados em tempo real agora simplificada, os desenvolvedores podem desbloquear casos de uso avançados, como:

• • Varejo: Transmita atualizações de fluxo de cliques ou de inventário para o Couchbase a fim de potencializar o enriquecimento do perfil do usuário para personalização em tempo real.
  • IoT: Ingerir dados de borda no Couchbase para análise e painéis em tempo real.
  • Finanças: Persista eventos do Kafka de sistemas de detecção de fraudes ou de transações no Couchbase para pesquisa e alerta instantâneos.
  • IA: Combinando o streaming de dados em tempo real do Confluent com o armazenamento vetorial do Couchbase, as organizações podem ingerir e operacionalizar os dados de forma transparente para impulsionar aplicativos RAG e agênticos inteligentes e em tempo real.

Conector do Couchbase Sink

O Conector do Couchbase Sink permite que você transmita dados de tópicos do Kafka diretamente para suas coleções do Couchbase. Ele oferece suporte a uma ampla variedade de formatos de dados, incluindo AVRO, JSON, JSON Schema, PROTOBUF e BYTES, independentemente de você estar executando uma arquitetura de microsserviço sem esquema ou ter um pipeline de esquema fortemente tipado.

Principais recursos

• • Pelo menos uma vez semântica de entrega: Garante a confiabilidade mesmo durante falhas transitórias
  • Mapeamento granular de tópico para coleção: Roteamento de tópicos do Kafka para coleções específicas do Couchbase usando couchbase.topic.to.collection
  • Lógica de ID de documento personalizada: Substituir a forma como as chaves do documento são geradas por meio de couchbase.topic.to.document.id
  • Manipuladores flexíveis: Personalize como os registros são transformados usando manipuladores de sink incorporados ou personalizados
  • Autenticação segura: Conecta-se de forma segura com autenticação baseada em senha

Configuração passo a passo: Conector do Couchbase Sink

Pré-requisitos

Antes de configurar o Couchbase Sink Connector no Confluent Cloud, verifique se os seguintes pré-requisitos foram atendidos:

• • Confluent Cloud: Um cluster Kafka em execução no Confluent Cloud (no AWS, Azure ou GCP). Ainda não é cliente da Confluent? Comece sua Avaliação gratuita do Confluent Cloud hoje - os novos usuários recebem $400 para gastar durante seus primeiros 30 dias.
  • Banco de dados Couchbase: Um cluster do Couchbase Server ou do Capella acessível a partir do Confluent Cloud.
  • Trabalho em rede:
    • Os clusters do Kafka e do Couchbase devem residir na mesma região de nuvem para obter o menor custo e a melhor latência.
    • Garanta a conectividade de rede por meio de IP público, emparelhamento de VPC ou pontos de extremidade privados, como o AWS PrivateLink.
  • Credenciais de autenticação:
    • Nome de usuário e senha do Couchbase com acesso de gravação ao bucket e à coleção de destino.
    • Conta de serviço Kafka ou chave/secreta de API para o conector.
  • Registro de esquema (se estiver usando formatos tipados):
    • Habilite o Schema Registry para formatos de mensagem AVRO, JSON Schema ou PROTOBUF.
  • Tópicos do Kafka:
    • Pelo menos um tópico existente do Kafka para transmitir ou criar um novo tópico durante a configuração.

Configuração no console do Confluent Cloud

Etapa 1: iniciar um cluster do Confluent Cloud Kafka
Crie um cluster do Kafka no provedor de nuvem e na região que se alinhe à sua implantação do Couchbase.

Etapa 2: Navegue até a guia Connectors (Conectores)
Vá para o console do Confluent Cloud e clique no botão Conectores guia. Clique em + Adicionar conector.

Etapa 3: Selecione o conector do Couchbase Sink
Pesquise e selecione o Couchbase Sink cartão de conector do catálogo.

Etapa 4: Definir as configurações do conector

Você será solicitado a digitar o seguinte:

• • Tópicos do Kafka para consumir de
  • Detalhes da conexão com o Couchbase:
    • Nome do host ou string de conexão
    • Nomes de bucket, escopo e coleção
    • Nome de usuário e senha para autenticação
  • Formato dos dados de entrada (AVRO, JSON, etc.)
  • Configuração do Schema Registry (se aplicável)
  • Parâmetros de comportamento do sumidourocomo, por exemplo:
    • couchbase.topic.to.collection
    • couchbase.topic.to.document.id
    • couchbase.sink.handler
  • Semântica de entrega e Tratamento de erros opções
  • Dimensionamento: Selecione a capacidade ou as opções de dimensionamento automático

Etapa 5: Revise e inicie o conector

Depois de revisar todas as configurações, clique em Lançamento. O conector será implantado e começará a ingerir registros do Kafka no Couchbase.

Etapa 6: Verificar a ingestão de dados

Quando o conector estiver em execução, verifique se os dados estão chegando às coleções do Couchbase conforme o esperado. Use a interface do usuário do Couchbase ou as ferramentas de consulta para inspecionar os documentos ingeridos.

Conector de origem do Couchbase

Além de gravar no Couchbase, o Conector de origem do Couchbase permitirá que os usuários ingiram dados do Couchbase no Kafka, possibilitando arquiteturas avançadas orientadas por eventos e pipelines de IA/ML alimentados por dados operacionais.

Principais recursos

• • Suporte ao Change Data Capture (CDC): Aproveita o protocolo de alteração de banco de dados (DCP) do Couchbase para transmitir inserções, atualizações e exclusões de coleções do Couchbase para o Kafka.
  • Mapeamento por coleção e por tópico: Mapeia automaticamente coleções do Couchbase para tópicos do Kafka usando couchbase.collection.to.topic.
  • Estratégias de leitura flexíveis: Suporta streaming do bucket completo, leituras incrementais baseadas em carimbo de data/hora e streaming em tempo real usando DCP.
  • Serialização com reconhecimento de esquema: Suporta os formatos AVRO, JSON, PROTOBUF e JSON Schema com integração opcional do Confluent Schema Registry.
  • Filtragem e projeção personalizadas: Permite a configuração de filtros para incluir ou excluir documentos com base em atributos, tipos ou lógica personalizada.
  • Rastreamento de deslocamento durável: Rastreia o progresso da leitura por documento e coleção, garantindo a continuidade e minimizando o reprocessamento nas reinicializações.
  • Autenticação segura: Usa autenticação baseada em senha com suporte para conexões TLS com o Couchbase.
  • Tópicos do Kafka gerados automaticamente: Cria dinamicamente tópicos do Kafka com base em mapeamentos de coleções, se não estiverem predefinidos.

Configuração passo a passo: Conector de origem do Couchbase

Pré-requisitos

• • Cluster do Confluent Cloud com slots de conector de origem disponíveis
  • Um cluster do Couchbase com DCP ativado (Enterprise Edition) ou uma implantação totalmente gerenciada do Couchbase Capella
  • Acessibilidade de rede do Confluent Cloud para o Couchbase (via IP público ou PrivateLink)
  • Tópicos do Kafka pré-criados ou definidos dinamicamente por meio do mapeamento de tópicos
  • Registro de esquema ativado para formatos de mensagem digitados

Configuração no console do Confluent Cloud

Etapa 1: Inicie seu cluster do Confluent
Verifique se o cluster do Confluent Cloud está em execução e na mesma região que o Couchbase

Etapa 2: Navegue até a página Connectors (Conectores)
Clique em + Adicionar conector na interface do usuário do Confluent Cloud

Etapa 3: Selecione o conector de origem do Couchbase
Escolha o Fonte Couchbase conector

Etapa 4: Configurar parâmetros de conexão

• • Host e porta do Couchbase
  • Configurações de bucket, escopo e coleção
  • Modo de sondagem: varredura completa, incremental com registro de data e hora ou CDC baseado em DCP
  • Opções de filtragem de documentos
  • Formato dos dados: JSON, AVRO, PROTOBUF
  • Estratégia de nomeação de tópicos do Kafka (por exemplo, couchbase.collection.to.topic)

Etapa 5: Autenticação e segurança

• • Insira as credenciais de acesso ao Couchbase
  • Defina as configurações de criptografia ou TLS necessárias
  • Configurar a conectividade de rede (emparelhamento de VPC, PrivateLink ou IP público)

Etapa 6: Iniciar e monitorar

Após a revisão, implemente o conector. Monitore o fluxo de registros nos tópicos do Kafka usando as ferramentas de monitoramento do Confluent Cloud ou os visualizadores de tópicos.

Uma vez ativo, o conector transmitirá eventos do seu banco de dados do Couchbase. A infraestrutura é gerenciada, dimensionada e depurada para você.

Certifique-se de que o serviço Couchbase e o cluster Kafka estejam na mesma região de nuvem para otimizar o custo e o desempenho. Para obter um desempenho ainda melhor e um custo menor, considere a possibilidade de configurar pontos de extremidade privados ou peering VPC, conforme necessário.

Assista ao nosso tutorial vídeo para saber como instalar e configurar o Couchbase Connector totalmente gerenciado para o Confluent Cloud. Você verá como conectar tópicos do Kafka, definir as configurações do Couchbase e iniciar o streaming de dados com apenas alguns cliques.

Experimente hoje mesmo

Com o Couchbase Connector totalmente gerenciado, agora disponível no Confluent Cloud, você pode criar rapidamente aplicativos modernos e orientados a eventos com configuração mínima e eficiência operacional máxima.

Pronto para começar?

• • Faça login em Confluent Cloud ou inicie sua Avaliação gratuita do Confluent Cloud
  • Iniciar o Couchbase Sink ou Conector de origem em apenas alguns minutos
  • Siga os guias para configuração:
    • Conector do Couchbase Sink
    • Conector de origem do Couchbase