Agora você pode analisar ainda mais os dados de sua empresa usando o Couchbase Analytics - sem precisar mover ou migrar um byte.
A partir de hoje, tenho o prazer de anunciar o suporte futuro para Armazenamento de Blob do Microsoft Azure para coleções de análises externas (atualmente no Developer Preview). Essa notícia segue o suporte para Coleções do Analytics externo para o serviço de armazenamento simples do Amazon Web Services (AWS S3) na versão 6.6 do Couchbase Server.
Em resumo, esse anúncio significa que mais clientes do Couchbase podem combinar dados de fontes externas (por exemplo, Azure Blob Storage e AWS S3) com dados locais (Análise do Couchbase), bem como dados remotos do Couchbase (ou seja, Coleções de análise remota).
(Observação: esse tópico foi abordado de forma semelhante em Conjuntos de dados externos: Acessando o AWS S3 no Couchbase Analytics. Se você já usou coleções externas do Analytics antes, então os conceitos abordados em este O artigo lhe será familiar).
Por que usar coleções de análises externas?
Alguns Couchbase Os clientes usam o Azure Blob Storage para reduzir os custos de armazenamento de grandes volumes de dados (por exemplo, vários anos de dados históricos, dados comerciais off-line para aprendizado de máquina, análises de produtos etc.).
Esses clientes desejam combinar, consultar e utilizar dados do Armazenamento de Blobs do Azure em tempo real para usuários corporativos e análise de dados. (Descubra como outros clientes usam o Couchbase Analytics neste artigo.)
Para manter esses dados em um armazenamento de baixo custo e ainda usá-los para análise de dados, os clientes do Couchbase podem usar coleções externas do Analytics.
Como funcionam as coleções do Analytics externo
As External Analytics Collections permitem que você consulte e analise dinamicamente os dados que residem em fontes externas (como o AWS S3 e o Azure Blob Storage), permitindo que você combine facilmente os dados em tempo real de dentro e de fora dos nós do Couchbase Analytics.
Tudo o que é necessário para combinar seus conjuntos de dados internos e externos são três etapas simples:
- Configure um link externo usando um Chamada à API REST ou a interface de linha de comando (CLI).
- Crie uma coleção externa do Analytics no link externo.
- Consultar a coleção do Analytics usando N1QL para análises (ou sua ferramenta de BI favorita)
.
Vamos ver um exemplo simples.
A iMaz, uma empresa de comércio eletrônico, vende produtos de consumo on-line. Seus dados de pedidos, produtos e usuários são armazenados em um cluster do Couchbase usando os serviços de dados e de análise (em conjuntos separados de nós no cluster). A iMaz usa o serviço de análise para executar consultas ad hoc e complexas para analisar seus negócios. Eles armazenam suas avaliações de produtos no Azure Blob Storage e gostariam de combinar e analisar os três produtos mais bem avaliados usando o Couchbase Analytics Service.
Aqui estão alguns exemplos de dados de produtos:
|
1 2 3 4 5 6 7 8 9 10 11 |
[ { "id": "Product_1", "docType": "Produto", "productId": 1, "price" (preço): 811.76, "salePrice": 70.14, "productName": "Bola de algodão ergonômica", "desc": "Bola de algodão ergonômica metálica fundida com plástico" } ] |
E aqui estão alguns exemplos de dados de avaliação:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
{ "id": "Review_0001764a17a844279a2227e137cc4e36", "docType": "Revisão", "reviewId": "0001764a17a844279a2227e137cc4e36", "productId": 1, "userId": 5862, "reviewerName": "M. Schaefer", "reviewerEmail": "...@mmail.com", "classificação": 5, "título": "Funciona bem e atende às expectativas.", "revisão": "O produto funciona muito bem e comprarei mais um para minha família.", "reviewDate": 1597273484 } |
Agora, examinaremos cada uma das três etapas acima usando um exemplo de código de configuração junto com um N1QL para a consulta do Analytics.
Etapa 1: Configurar os links
Primeiro, você precisará criar um link do Azure Blob Storage usando um Chamada à API REST. (Como alternativa, você pode usar a CLI para criar links do Armazenamento de Blobs do Azure.)
Você precisará fornecer:
- Seu nome de host do Couchbase Analytics Service
- Suas credenciais de usuário do Analytics
- O nome do link do Armazenamento de Blobs do Azure. No exemplo abaixo, usaremos:
myAzureLink - O nome do escopo (anteriormente conhecido como dataverse). No exemplo abaixo, usaremos:
Padrão - Tipo de link (
AzureBlob) - Credenciais (somente uma das seguintes é permitida):
- Cadeia de conexão, ou
- Nome da conta e chave da conta, ou
- Nome da conta e assinatura de acesso compartilhado
Em conjunto, a criação do link do Armazenamento de Blobs do Azure terá a seguinte aparência:
|
1 2 3 4 5 |
enrolar -u : \ -X POST "http:///analytics/link/Default/myAzureLink" \ -d tipo=AzureBlob \ -d accountName=... \ -d accountKey=... |
Observação: Também é possível criar links do Azure Blob Storage sem credenciais, que usarão a autenticação anônima. Nesse caso, o accountName e accountKey não são necessários. Essa abordagem pode ser usada para acessar dados públicos.
Etapa 2: criar uma coleção de análise externa
Depois de criar os links externos, você pode criar uma Coleção do Analytics externa usando instruções da Linguagem de Definição de Dados (DDL) que se referem aos nomes de links criados anteriormente.
O exemplo de código abaixo é a instrução DDL para criar a coleção do Analytics no link do Azure Blob Storage criado anteriormente. (cb-analytics-7-0-0-demo é o nome do contêiner no Armazenamento de Blob do Azure).
|
1 2 3 4 5 |
CRIAR EXTERNO ANALÍTICA COLEÇÃO comentários sobre o produto azure ON `cb-análises-7-0-0-demonstração` AT myAzureLink USO "revisões" COM { "formato": "json", "include": "*.json" } ; |
Como mostrado acima, a criação da Coleção do Analytics externa é independente do tipo de link após a criação dos links. Várias coleções do Analytics podem ser criadas no mesmo link externo para apontar para diferentes contêineres de dados externos.
Atualmente, o recurso de coleta de dados analíticos externos é compatível com o JSON, CSV (valores separados por vírgula) e TSV (valores separados por tabulação), incluindo arquivos gzip compactados (nomes de arquivos terminados em .gz ou .gzip). Os formatos CSV e TSV exigem que você especifique uma definição de tipo em linha (mais sobre isso abaixo). Outros formatos de arquivo serão suportados em versões futuras do Couchbase Analytics.
Saiba mais sobre definições de tipo em linha na documentação do Couchbase.
Etapa 3: consulta usando o N1QL para análise
Sua última etapa é executar a consulta N1QL mostrada abaixo (que se parece muito com SQL, não acha? :)).
|
1 2 3 4 5 6 |
SELECIONAR p.productName, AVG(s.classificação) AS `Classificação` DE comentários sobre o produto azure s, produtos p ONDE s.productId = p.productId GRUPO BY p.productName ORDEM BY AVG(s.classificação) DESC LIMITE 3; |
Essa consulta N1QL acima une a coleção de análises de produtos existentes do Couchbase Analytics Service com os dados de análises de produtos do Azure Blob Storage para recuperar os três produtos mais bem avaliados.
Aqui estão os resultados da consulta JSON acima:
|
1 2 3 4 5 |
[ { "Classificação": 4.33, "productName": "Atum de borracha licenciado"}, { "Classificação": 4.29, "productName": "Linda salada de plástico"}, { "Classificação": 3.86, "productName": "Bicicleta de algodão inteligente"} ] |
Agora você pode combinar e analisar dados externos localizados no Azure Blob Storage usando o Couchbase Analytics Service. Observe como foram necessárias poucas etapas para analisar seus dados: não houve ETL, e os dados ficaram imediatamente disponíveis (!). Além disso, se seus dados forem alterados, você verá essas alterações atualizadas sempre que executar novamente a consulta. Isso ocorre porque os dados externos são acessados sob demanda no momento da execução da consulta.
Claro, e se o formato do arquivo fosse CSV em vez de JSON?
A resposta é simples: Você só precisa definir sua coleção externa do Analytics de acordo. O exemplo de instrução N1QL abaixo ilustra como você criaria uma Coleção do Analytics externa compatível com CSV:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
CRIAR EXTERNO ANALÍTICA COLEÇÃO comentários sobre o produto azure ( id STRING NÃO DESCONHECIDO, docType STRING NÃO DESCONHECIDO, reviewId STRING NÃO DESCONHECIDO, productId BIGINT, userId BIGINT, reviewerName STRING NÃO DESCONHECIDO, RevisorEmail STRING NÃO DESCONHECIDO, classificação BIGINT, título STRING NÃO DESCONHECIDO, revisão STRING NÃO DESCONHECIDO, reviewDate BIGINT ) ON `cb-análises-7-0-0-demonstração` AT myAzureLink USO "avaliações" COM { "formato": "csv", "include": "*.csv", "cabeçalho": falso }; |
Observe como o CRIAR agora inclui informações de tipo em linha. Essas informações de tipo informam ao Couchbase Analytics como interpretar os dados CSV para transformá-los em dados JSON (por exemplo, não apenas como cadeias de caracteres).
Mas, independentemente de você estar ou não usando JSON ou dados CSV, a consulta N1QL permanece exatamente a mesma.
Benefícios das coleções de análises externas
Aqui estão alguns dos principais benefícios decorrentes do uso de coleções externas do Analytics:
- Enriquecimento de dados: Os dados do Couchbase agora podem ser enriquecidos com informações adicionais obtidas de dados que residem em armazenamentos de dados externos, como o Microsoft Azure Blog Storage.
- Acesso dinâmico a dados: Seus dados mais atuais podem ser recuperados dinamicamente, transmitidos, combinados e analisados a partir de qualquer contêiner do S3 ou do Armazenamento de Blobs (DP) do Azure em qualquer região. Os dados são recuperados durante a execução da consulta do Analytics.
- Processamento de consultas paralelas: Você pode configurar e organizar o acesso a dados externos usando a arquitetura de processamento massivamente paralelo (MPP) do Analytics para obter uma resposta rápida a consultas que envolvam dados externos.
Conclusão
As External Analytics Collections liberam o valor de seus dados ao vivo e arquivados que residem em armazenamentos de dados externos. Elas também são fáceis de configurar, flexíveis e simples de usar, graças ao poder da linguagem de consulta N1QL.
Seus usuários e analistas de dados agora podem combinar e analisar dados obtidos em tempo real do AWS S3, do Azure Blob Storage e do Couchbase Analytics Service. Com as Analytics Collections externas, você pode desenvolver consultas ad hoc complexas para a exploração interativa de dados, responder a novas perguntas comerciais e combinar dados externos de links remotos para envolver também outras fontes de dados do Couchbase.
Conclusão: Suas equipes realizam análises de dados mais rápidas e abrangentes para tomar decisões mais ágeis.
Para saber mais sobre coleções externas do Analytics com o Couchbase 7.0, confira os recursos a seguir:
Introdução ao Couchbase 7.0