Nos últimos meses, o conector Kafka passou por várias atualizações, adicionando recursos como a redação de registros na versão 3.2.3, requisitos de durabilidade configuráveis na 3.2.2 e um novo Manipulador de origem ponto de extensão para processamento personalizado na versão 3.2.0.
Agora, com o lançamento do Couchbase Server 5.5, estamos atualizando o conector Kafka novamente para aproveitar alguns novos recursos interessantes disponíveis na Enterprise Edition.
Adicione o IPv6 ao seu conjunto de truques (ou "Como dois IPs em um quadrilátero")
A migração para o IPv6 em todo o setor está em pleno andamento. Como Perry Krug escreveu em marçoO Couchbase se juntará à festa com suporte para IPv6 na próxima versão 5.5.
A versão 3.2.3 do conector Kafka podia funcionar com IPv6 definindo uma propriedade do sistema Java. Isso era inconveniente, portanto, na versão 3.3, ativamos o suporte a IPv6 por padrão.
Na maioria dos casos, o conector continuará a funcionar com IPv4 sem precisar de ajustes na configuração. No entanto, se você se encontrar em um ambiente de pilha dupla em que precise forçar a resolução de nomes de host a usar IPv4, poderá obter o comportamento desejado definindo o parâmetro couchbase.forceIPv4 propriedade de configuração para verdadeiro.
Compactação de dados para utilização aprimorada de recursos (ou "Just Squeeze Me")
Chaitra Ramarao escreveu uma excelente introdução ao Recursos de compactação de dados disponíveis no Couchbase Server 5.5. Os testes de desempenho revelaram que a ativação da compactação pode melhorar significativamente a taxa de transferência, portanto, ativamos a compactação por padrão no conector Kafka 3.3.
Se quiser ajustar as configurações de compressão, você terá controle total. As couchbase.compression config permite que você especifique o modo de compactação a ser usado. Há dois modos para escolher (três se você contar "desativado"). Vamos examiná-los em detalhes.
O novo modo padrão é ATIVADO. Nesse modo, você está dando permissão ao Couchbase Server para enviar dados ao conector Kafka em formato compactado. Ele ainda poderá enviar um documento não compactado se a compactação exigir que o servidor faça mais trabalho. No entanto, na maioria das vezes, o servidor já terá acesso fácil à forma compactada, e o documento será enviado compactado. Tornamos esse o modo padrão depois que nossos testes de desempenho mostraram uma melhoria geral quando a compactação é usada a critério do cluster.
O segundo modo de compressão é FORÇADO. Nesse modo, você está informando ao Couchbase Server que a largura de banda da rede é escassa e que você deseja que o servidor faça todos os esforços para enviar documentos em formato compactado. Como é de se esperar, esse modo exige que o servidor trabalhe mais, portanto, você usará um pouco mais de CPU no lado do cluster em troca da redução do uso da largura de banda.
Para desativar a compactação, use a opção DESABILITADO modo. Lembre-se de que a desativação da compactação pode alterar o uso da CPU ou a taxa de transferência/latência, pois o cluster deve descompactar cada documento antes de enviá-lo ao conector.
Independentemente do modo de compactação selecionado, os documentos são publicados no tópico do Kafka em formato não compactado.
Isso é tudo por enquanto. Para fazer o download do conector Kafka e experimentar, dê uma olhada na página Guia de início rápido. Se você tiver alguma dúvida, venha visitar o Categoria do conector Kafka nos fóruns do Couchbase!
