Talend apresenta suporte ao Couchbase Capella na Talend Big Data Platform 8.0

Muitas organizações que buscam modernizar seus bancos de dados legados estão avaliando ofertas de DBaaS hospedadas e totalmente gerenciadas que oferecem flexibilidade, desempenho e escala sem comprometer os pontos fortes e confiáveis dos bancos de dados relacionais (RDBMS). Com a introdução de Couchbase Capella DBaaSCom o lançamento do produto, os clientes agora podem se beneficiar de um preço-desempenho excepcional para reduzir o custo total de propriedade (TCO).

No entanto, é necessário garantir que as ferramentas e os processos de integração de dados estabelecidos possam ser usados para mover os dados para Couchbase Capella pode ser uma dependência importante na transição para o serviços em nuvem. É por isso que estamos entusiasmados em apresentar o suporte do Couchbase 7.x no Talend Big Data Platform 8.0, abrangendo tanto o Couchbase Server quanto o Capella.

A Talend oferece uma gama de recursos de gerenciamento de dados, que vão desde o gerenciamento de processos de negócios até ETL e gerenciamento de dados mestre. A nova versão 8.0 da Big Data Platform da Talend contém um conector Couchbase atualizado, permitindo a modernização e migração de aplicativos críticos para os negócios.

Criação de um fluxo de trabalho ETL para o Couchbase Capella

Este blog mostra como conectar o Talend ao Couchbase Capella e executar um fluxo de trabalho ETL simples. Plataforma de Big Data da Talend será aproveitado para exportar dados relacionais de um banco de dados MySQL para o Couchbase usando o formato de documento JSON.

O fluxo de trabalho lerá de uma tabela de banco de dados MySQL e criará documentos JSON correspondentes no Couchbase Server. Você pode se basear nesse exemplo e aumentá-lo para dar suporte a cenários mais complexos que envolvam transformações de dados, mapeamentos complexos etc.

As etapas a seguir foram testadas no macOS, mas podem ser adaptadas para outros sistemas.

O Couchbase Capella oferece uma avaliação gratuita de 30 dias e permite que você crie seu primeiro cluster em poucos cliques e em apenas alguns minutos. Você pode inicie seu teste com um único clique.

Basta digitar seu nome, e-maile nome da organização. Depois que seu e-mail for verificado, você poderá iniciar o teste. Basta selecionar sua opção preferida Região AWS e clique em "Start Trial" (Iniciar teste).

A avaliação criará um cluster do Couchbase de nó único no AWS. Depois que seu cluster for criado, precisaremos configurar um bucket de dados para este exemplo.

Navegue até Agrupamentos > Grupo de teste > Baldes > Criar balde. Vamos nomear o balde mundo.

Clique em Próximo para continuar, aceite os padrões e clique em Criar balde. Além disso, crie o amostra de viagem navegando até Ferramentas > Importação e role para baixo até Amostra de viagem e selecione Importação.

Agora precisaremos configurar o acesso ao cluster a partir de uma estação de trabalho remota.

Navegue até Agrupamentos > Grupo de teste > Conectar e role para baixo até Acesso ao banco de dados > Gerenciar credenciais, então +Criar credencial de banco de dados.

Certifique-se de usar o menu suspenso em Acesso ao nível da caçamba e digite mundo, Todos os escopos, e Leitura/gravação para as configurações e, em seguida, clique em Criar. Repetir para o amostra de viagem balde.

Permissão de acesso IP local ao Capella

Em seguida, precisamos configurar o acesso à sua estação de trabalho local, pois estaremos executando o Talend Studio localmente. Navegue até Conectar > Gerenciar IPs permitidos. A partir daí, você pode clicar em + Adicionar meu IP.

Por enquanto, a configuração do Couchbase Capella está concluída.

Instalar o banco de dados de amostra do MySQL

Em seguida, precisamos instalar e/ou configurar o servidor MySQL que também está sendo executado na estação de trabalho local. Estou usando o macOS e o Homebrew para instalar pacotes adicionais.

Para instalar o MySQL via Homebrew, abra um terminal e digite: brew install mysql . 

Faça o download e importe o mundo banco de dados:

• Baixar world.sql
• Inicie o servidor MySQL, se ainda não tiver sido iniciado, e conecte-se ao servidor:
  sudo mysql -u root -p
  
• Criar mundo banco de dados:
  CREATE DATABASE world;
• Carregar conteúdo de mundo banco de dados:
  USE o mundo;
  FONTE world.sql;
• Verifique se o banco de dados mundial foi importado corretamente:
  MOSTRAR TABELAS;
• O resultado deve mostrar três tabelas: Cidade, País e CountryLanguage

Agora é hora de instalar Estúdio Talend. Você pode baixar o Talend Studio 8.0.1 do Talend Cloud. Navegue até seu usuário e selecione Downloads:

Selecione Talend Studio e sua plataforma no menu suspenso e a versão 8.0.1.

Observação: a Talend recomenda o Java 11. Para este exercício, estou usando o OpenJDK-11 instalado via Homebrew com:

% brew install openjdk@11

Aceite o contrato de licença depois que o Talend Studio for instalado e forneça um arquivo de licença ou conexão com o Talend Cloud.

Instalar o conector do Couchbase para o Talend Studio

Depois de iniciar o Talend Studio, você precisará instalar o conector do Couchbase para continuar. Navegue pelo Ajuda para o Gerente de recursos e procure por Couchbase.

Depois de iniciar o Talend Studio, navegue até Projetos de trabalho > Padrão e clique com o botão direito do mouse em Novo emprego, digite o nome Integração MySQLToCouchbase e clique em Acabamento.

Isso criará um painel no qual os artefatos do trabalho poderão ser arrastados e soltos e deverá exibir a paleta à direita. Na paleta, arraste e solte o tMyslInput à esquerda. Localize o widget em Bancos de dados/MySQL.

Na paleta, arraste e solte tCouchbaseOutput (pode ser encontrado em Bancos de dados NoSQL/Couchbase) à direita.

Clique duas vezes em tMysqlInput no painel; isso exibirá a tela Componente na parte inferior.

Digite as informações de conexão do banco de dados MySQL.

• Clique no botão ... localizado à direita do botão Nome da tabela, expandir mundo e selecione o Cidade e clique na entrada OK botão.
• Remova a consulta padrão e substitua por:
  SELECT * FROM Cidade

Abaixo está uma captura de tela de exemplo de como ela deve ser:

Configurar o esquema de destino

Clique no botão Esquema de adivinhação botão. Isso abrirá a tela Esquema mova e redimensione a janela conforme apropriado.

Edite o esquema com as seguintes alterações:

• • Verificar Nullable para ID
  • Verificar Nullable para População
  • Mudança ID tipo para String

Defina os tipos de BD como os seguintes e clique em OK:

• • INT para ID
  • VARCHAR para campos Nome, CountryCode, e Distrito
  • INT para População

Esta captura de tela mostra todas essas configurações de esquema:

Clique com o botão esquerdo do mouse em tMysqlInput e, em seguida, clique com o botão direito do mouse para selecionar Linha/Principal e arraste uma seta do tMysqlInput componente para tCouchbaseOutput. Uma seta deve ser criada entre os dois.

Agora, navegaremos de volta ao console do Couchbase Capella para obter nosso endpoint de conexão. Navegue até Agrupamentos > Grupo de teste > Conexões e copie o Rede de longa distância endereço do ponto de extremidade:

Clique com o botão esquerdo do mouse em tCouchbaseOutput no painel; isso exibirá a tela Componente na parte inferior.

Insira as informações de conexão do banco de dados do Couchbase no painel. Observe que todos os campos devem estar entre aspas duplas (ou seja, "..."):

• • O Nós de bootstrap é o valor coletado na etapa anterior, precedido por couchbases://
  • Forneça credenciais criadas anteriormente no console do Capella para acesso.
  • Defina o nome do Bucket como mundo.
  • Deixe o Tipo de documento padrão como JSON.
  • Deixe o campo a ser usado como ID como "ID".

Clique no botão Executar para criar o trabalho e executá-lo. Você pode ver o progresso no Trabalho janela.

Uma vez concluído, o trabalho terá adicionado 4079 documentos ao mundo balde:

Você pode acessar o console do Capella diretamente ou por meio do plano de controle da Web para verificar se eles foram carregados no bucket mundial.

O Documentos mostra o que está sendo carregado:

Configuração do componente Talend para entrada do Couchbase

Em seguida, usaremos o Couchbase como entrada e executaremos uma consulta N1QL. Isso permitirá que você interaja com os escopos e as coleções do Couchbase.

Navegue até Projetos de trabalho > Padrão e clique com o botão direito do mouse em Novo emprego - digite o nome Entrada do Couchbase e clique em Acabamento.

Na paleta, arraste e solte o tCouchbaseInput à esquerda. Localize o widget em Bancos de dados NoSQL/Couchbase.

Na paleta, arraste e solte o tLogRow (encontrado em Registros e erros) à direita.

Clique duas vezes em tCouchbaseInput no painel; isso exibirá o Componente na parte inferior. Insira as informações de conexão do banco de dados do Couchbase. Do Tipo de consulta selecione N1QL e digite a consulta da seguinte forma:

Abaixo está uma captura de tela de exemplo de como deve ser:

Clique com o botão esquerdo do mouse em tLogRow no painel; isso exibirá a tela Componente na parte inferior.

Altere o separador de campo de “|” para “” e selecione Imprimir cabeçalho.

Conecte os dois componentes.

Executar o trabalho. Se for bem-sucedido, ele deverá retornar o valor Reino Unido.

Continuar aprendendo Talend e Couchbase

Aqui estão alguns recursos adicionais para ajudá-lo a se aprofundar:

• • Saiba mais sobre Tecido de dados da Talend.
  • Acesse o Conector Talend Couchbase.
  • Comece a usar Couchbase Capella.
  • Em caso de dúvidas, entre em contato conosco em partners@couchbase.com.