Crie painéis em tempo real - Couchbase Analytics e Tableau

Este blog aborda como configurar um cluster do Couchbase Analytics em menos de 5 cliques e criar um painel de visualização em tempo real com o Tableau. 

Introdução

Servidor Couchbase é um banco de dados NoSQL híbrido que oferece suporte a operações e analítico cargas de trabalho. O Couchbase Analytics no Couchbase Server 6.0 traz o "NoETL for NoSQL", permitindo que os usuários executem consultas analíticas ad-hoc em dados JSON em sua forma natural - sem a necessidade de transformação ou design de esquema - aproveitando um maciçamente paralelo (MPP).

Toda empresa já investiu em uma ferramenta de visualização e, portanto, tem uma necessidade crítica de aproveitar os investimentos existentes. Isso inclui não apenas ferramentas, mas também conjuntos de habilidades e treinamento de equipes de relatórios comerciais e dash-boarding.

Sempre acreditei que a prova está no pudim proverbial quando se trata de analisar e visualizar dados JSON em tempo real. Na próxima seção, mostrarei como o Couchbase resolve esse desafio.

Cenário de demonstração

Vou lhe dar o Cenário do Couchbase Analytics que demonstrei durante o Couchbase Connect 2018 para a palestra sobre arquitetura:

Imagine uma empresa fictícia que gerencia uma frota de carros em que cada carro da frota envia dados operacionais para sua "nave-mãe". A equipe de operações pode monitorar os dados de entrada enviados pelos carros enquanto estão em trânsito e ter alertas de sistema configurados para quaisquer falhas nas leituras de indicadores críticos.

Os desafios que a equipe de operações gostaria de resolver podem incluir:
1. Como analisar os dados recebidos sem afetar a capacidade dos carros de enviar dados
2. Como usar uma ferramenta de visualização do Tableau para criar um painel de controle em tempo real da situação no local

Modelo de dados

Como parte da demonstração, criei um modelo de dados JSON para representar as informações em tempo real que estão sendo enviadas por cada carro na estrada. Como acontece com a maioria dos modelos de dados JSON, os objetos aninhados e as matrizes são parte integrante dos dados que estão sendo enviados para o carro. Por exemplo, modelei as leituras de pressão dos pneus como uma matriz: se a empresa fictícia de automóveis começasse a fabricar bicicletas com 2 rodas ou caminhões com 6 rodas, o modelo de dados não precisaria de nenhuma alteração.

Experimente em 5 cliques: Configurando um cluster com o Couchbase Analytics

Se você não tem experiência com o Couchbase, pode fazer o download do Couchbase Server 6.0 e tentar fazer isso por conta própria. Você pode optar por instalar o Couchbase em uma única máquina ou instalar um cluster. As instruções abaixo são para adicionar um novo nó a um cluster. Se estiver executando tudo em uma única máquina, certifique-se de que os serviços de dados e de análise estejam em execução no nó.

Um subconjunto do conjunto de dados usado na demonstração está disponível para download. Você precisará fazer o download e extrair o arquivo conjunto de dados de demonstração.

Use o botão "cbimport" para importar esse conjunto de dados em seu próprio cluster do Couchbase 6.0. O comando para fazer isso no Mac é:

Para seu ambiente, consulte o Documentos de cbimport.

Agora que você tem as leituras dos carros na estrada disponíveis no cluster operacional, vamos adicionar um nó de análise ao cluster para começar a explorar e analisar as leituras que estão sendo enviadas em tempo real. Você precisará fazer login no console de administração do Couchbase para seguir as etapas abaixo. Você também pode acompanhar o vídeo de demonstração mencionado acima.

1. Clique em "Add Server" (Adicionar servidor) no canto superior direito da tela.
2. Você precisará fornecer os detalhes na caixa de diálogo da seguinte forma:
   *Dica profissional para usuários de Mac: "Option + click" economizará vários cliques ao selecionar "Analytics"
3. Na mesma caixa de diálogo, clique no botão "Add Server" (Adicionar servidor)
4. Escolha a quantidade de memória a ser atribuída ao nó do Couchbase Analytics
5. Por fim, clique em "Rebalance" (Reequilibrar)

Em 5 cliques, você adicionou um serviço totalmente novo, o Couchbase Analytics, ao seu cluster.

Agora vamos disponibilizar os dados operacionais para análise, criando um conjunto de dados sombra.

Ao executar as instruções acima no workbench do Couchbase Analytics, você criou um conjunto de dados sombra para análise e exploração de dados:

Exploração de dados

Vamos começar a explorar os dados. Se eu fosse o gerente de operações, gostaria de saber se o problema é generalizado e se afeta mais de um tipo de carro.

Se você for um desenvolvedor de SQL, as consultas acima devem ser familiares. O Couchbase Server permite que as equipes de análise levem suas habilidades de SQL existentes para o mundo sem esquema e aninhado dos dados JSON. Saiba mais sobre N1QL e SQL++.

Agora vamos descartar um falso positivo. Pode haver uma situação em que o indicador TPMS pode estar enviando uma leitura defeituosa, mas os valores reais da pressão dos pneus podem estar ok. As leituras reais da pressão dos pneus estão sendo enviadas como uma matriz JSON. Vamos verificar se elas estão realmente baixas.

A consulta acima retorna os valores em que o indicador TPMS está "LIGADO", mas a pressão real do pneu está acima de 30 psi, que é o limite seguro. Caso não tenha notado, o mecanismo de análise está trabalhando com as mesmas matrizes JSON modeladas no aplicativo, portanto, não há transformação dos dados que são analisados em seu formato JSON natural. #NoETLparaNoSQL

Configuração do driver SQL

Agora que você começou a explorar os dados, vamos visualizá-los em um painel de controle em tempo real. A maioria das ferramentas de BI implementadas na empresa exige uma interface SQL; o Couchbase trabalha com CData para fornecer uma interface SQL. Para experimentar isso, você pode Faça o download do driver CData.

Nesta postagem do blog, criarei uma conexão ODBC para me conectar ao Couchbase Analytics. Estou usando um Mac e usei o Gerenciador ODBC para definir um System DSN com as seguintes propriedades:

Criar uma visualização em tempo real no Tableau

Vou explicar agora as etapas para conectar o Tableau ao Couchbase Analytics.

1. Aberto Tableau desktop e escolha "Connect to Other Database (ODBC)".
2. Escolha a opção para se conectar usando um DSN (nome da fonte de dados).
3. Selecione o DSN criado na etapa anterior.
4. Clique no botão "Sign In" (Entrar) e você navegará até a interface da pasta de trabalho do Tableau.
   
5. No lado esquerdo da tela, selecione "CData" como o banco de dados.
6. Clique na lista suspensa "Select Schema" (Selecionar esquema), clique no ícone de pesquisa e escolha Couchbase.
   
   
7. Clique no ícone de pesquisa na seção da tabela.
   
8. Crie uma pasta de trabalho e escolha a dimensão, como o tipo de modelo e a medida para a contagem de VINs distintos, para criar um gráfico simples.
   

Agora você pode aprimorar o painel básico para alterar a visualização e adicionar recursos de filtragem. 

Conclusão

A obtenção de análises operacionais em tempo real é um imperativo comercial, mas, para isso, as organizações enfrentam obstáculos como:

• provisionamento de dados em arquiteturas de dados legados que levam semanas ou até meses
• falta de habilidades necessárias para se modernizar em seu departamento de TI tradicional
• dificuldade em criar casos de negócios para modernização na ausência de um retorno rápido e direto sobre o investimento
• insight limitado devido à complexidade dos relatórios personalizados e à falta de dash-boarding operacional.

Análise do Couchbase aborda essas preocupações e facilita muito a execução de cargas de trabalho operacionais e analíticas híbridas em um único cluster do Couchbase. A arquitetura híbrida do Couchbase permite a análise em tempo real de dados JSON gerados por aplicativos operacionais e evita o trabalho pesado de data lakes, data warehouses e processos ETL complexos.