{"id":14594,"date":"2023-07-26T12:16:39","date_gmt":"2023-07-26T19:16:39","guid":{"rendered":"https:\/\/www.couchbase.com\/blog\/?p=14594"},"modified":"2024-02-07T11:56:01","modified_gmt":"2024-02-07T19:56:01","slug":"introducing-couchbase-time-series","status":"publish","type":"post","link":"https:\/\/www.couchbase.com\/blog\/pt\/introducing-couchbase-time-series\/","title":{"rendered":"Apresentando a s\u00e9rie temporal do Couchbase"},"content":{"rendered":"

O Couchbase tem o prazer de anunciar o lan\u00e7amento de um novo recurso de s\u00e9rie temporal como parte do Couchbase 7.2. Esse recurso foi desenvolvido com base na robusta arquitetura de banco de dados distribu\u00eddo do Couchbase, que foi projetada para ser dimensionada horizontalmente \u00e0 medida que seus dados crescem, ao mesmo tempo em que oferece redund\u00e2ncia e alta disponibilidade integradas. Isso significa que, \u00e0 medida que sua empresa cresce e suas necessidades de dados de s\u00e9ries temporais aumentam, o Couchbase pode se expandir sem esfor\u00e7o para atender a essas necessidades, tornando-o uma solu\u00e7\u00e3o ideal para empresas de todos os tamanhos.<\/span><\/p>\n

Essa nova t\u00e9cnica inovadora para gerenciar dados de s\u00e9ries temporais abre um mundo totalmente novo de possibilidades para os usu\u00e1rios do Couchbase. Com a capacidade de armazenar e analisar grandes quantidades de dados de s\u00e9ries temporais usando o Couchbase SQL++ e SDKs. Isso permite que os usu\u00e1rios aproveitem o conhecimento e a infraestrutura existentes, facilitando a configura\u00e7\u00e3o e o desbloqueio de insights poderosos para explorar tend\u00eancias de dados com facilidade.\u00a0<\/span><\/p>\n

Principais benef\u00edcios das s\u00e9ries temporais\u00a0<\/span><\/h2>\n

Os dados de s\u00e9ries temporais s\u00e3o armazenados em documentos JSON no banco de dados Couchbase Multi Model. Ele oferece o mesmo alto desempenho, cache avan\u00e7ado para recupera\u00e7\u00e3o r\u00e1pida de dados e baixa lat\u00eancia. O servi\u00e7o Couchbase Query SQL++ e Index aprimoram os recursos de recupera\u00e7\u00e3o de dados para permitir casos de uso de consultas anal\u00edticas complexas.<\/span><\/p>\n

O suporte a dados de s\u00e9rie temporal no Couchbase oferece esses benef\u00edcios adicionais:<\/span><\/p>\n

    \n
  1. \n
      \n
    1. Armazenamento eficiente para grandes volumes de pontos de dados de s\u00e9ries temporais<\/span><\/li>\n
    2. Armazenamento otimizado da estrutura de dados para pontos de dados com registro de data e hora<\/span><\/li>\n
    3. Novos recursos avan\u00e7ados de consulta de s\u00e9ries temporais<\/span><\/li>\n
    4. Baixo requisito de armazenamento de \u00edndice<\/span><\/li>\n<\/ol>\n<\/li>\n<\/ol>\n

      Exemplos de casos de uso de s\u00e9ries temporais<\/span><\/h2>\n

      Negocia\u00e7\u00e3o financeira <\/strong>A negocia\u00e7\u00e3o financeira depende da an\u00e1lise de grandes quantidades de dados em tempo real, incluindo pre\u00e7os de a\u00e7\u00f5es, taxas de c\u00e2mbio e pre\u00e7os de commodities. A an\u00e1lise de dados de s\u00e9ries temporais pode ajudar os traders a identificar tend\u00eancias e tomar decis\u00f5es informadas sobre compra e venda.<\/span><\/p>\n

      Monitoramento da Internet das Coisas (IoT) <\/strong>Os dispositivos de IoT geram uma grande quantidade de dados de s\u00e9ries temporais, incluindo leituras de temperatura, consumo de energia e dados de sensores. Esses dados podem ser analisados em tempo real para detectar anomalias e prever falhas nos equipamentos antes que elas ocorram.<\/span><\/p>\n

      Manuten\u00e7\u00e3o preditiva <\/strong>Muitos setores dependem de equipamentos e maquin\u00e1rio caros, e o tempo de inatividade pode custar caro. Ao analisar dados de s\u00e9ries temporais de sensores e outras fontes, as organiza\u00e7\u00f5es podem prever quando o equipamento provavelmente falhar\u00e1 e programar proativamente a manuten\u00e7\u00e3o para minimizar o tempo de inatividade e maximizar a efici\u00eancia.<\/span><\/p>\n

      Principais recursos da s\u00e9rie temporal do Couchbase<\/span><\/h2>\n

      Voc\u00ea pode armazenar dados de s\u00e9ries temporais no Couchbase, usando nosso SDK\/SQL++ para carregar, e o recurso de consulta anal\u00edtica avan\u00e7ada com o \u00cdndice Secund\u00e1rio Global para consultar\/analisar os dados da mesma forma que com documentos JSON normais.<\/span><\/p>\n

      Efici\u00eancia de armazenamento<\/span><\/h3>\n

      Os conjuntos de dados de s\u00e9ries temporais geralmente s\u00e3o muito grandes, com cada ponto de dados composto por atributos, como registro de data e hora, valor(es), granularidade e outras informa\u00e7\u00f5es relacionadas. O armazenamento eficiente \u00e9 essencial, pois pode determinar a rapidez com que os dados podem ser consultados para an\u00e1lise.\u00a0<\/span><\/p>\n

      A s\u00e9rie temporal do Couchbase usa duas especifica\u00e7\u00f5es para melhorar a efici\u00eancia do armazenamento.<\/span><\/p>\n

      O uso de matrizes para pontos de dados<\/b> - Por sua pr\u00f3pria natureza, os dados de s\u00e9ries temporais s\u00e3o uma s\u00e9rie de pontos de dados. Esses pontos de dados compartilham uma estrutura comum, por exemplo, tempo e valores, ou quaisquer outros atributos associados ao momento em que o ponto de dados foi coletado.\u00a0\u00a0<\/span><\/p>\n

      O uso de uma matriz para armazenar um conjunto de pontos de dados para um determinado intervalo pode reduzir muito o custo de armazenamento, em compara\u00e7\u00e3o com a necessidade de armazenar cada ponto de dados individual como um documento separado no banco de dados.\u00a0<\/span><\/p>\n

      O uso da posi\u00e7\u00e3o da matriz<\/b> - Observe tamb\u00e9m que os elementos da matriz de pontos de dados n\u00e3o t\u00eam um nome de campo associado, mas dependem da posi\u00e7\u00e3o do elemento na matriz. Neste exemplo, os tr\u00eas elementos da matriz s\u00e3o: a data de observa\u00e7\u00e3o, o valor de abertura e o valor de fechamento da a\u00e7\u00e3o.<\/span><\/p>\n

      docid:\u00a0 \"stock:XYZ:d1\"\r\n{\r\n\u00a0 \"ts_data\": [ [1672531200000, 92.08, 95.62],[1672531201000, 95.62, 99.25],..]\r\n}<\/pre>\n
      Use o tempo EPOCH -\u00a0<\/b>Tempo de \u00e9poca<\/a> \u00e9 usado em vez da cadeia de datas ISO para reduzir o tamanho de cada ponto de dados e melhorar o tempo de processamento.\u00a0<\/span><\/p>\n
      docid:\u00a0 \"stock:XYZ:d1\"\r\n{\r\n\u00a0 \"ts_data\": [ [1672531200000, 92.08, 95.62],[1672531201000, 95.62, 99.25],..]\r\n\u00a0 \"ts_start\": 1672531200000 \/* dstart and dend denote the *\/\r\n\u00a0 \"ts_end\": \u00a0 1672617599999,\/* time range of all data points in ts_data *\/\u00a0 \u00a0 \u00a0\r\n\u00a0 \"ticker\": \u00a0 \"XYZ\"\r\n}<\/pre>\n
      Consulta otimizada com uma nova fun\u00e7\u00e3o _timeseries<\/span><\/h3>\n
      O recurso Couchbase Time Series inclui um novo<\/span> _timeseries<\/b> fun\u00e7\u00e3o. A fun\u00e7\u00e3o atende a v\u00e1rios prop\u00f3sitos:<\/span><\/p>\n
        \n
      1. \n
          \n
        1. Ele gera dinamicamente os objetos de s\u00e9rie temporal a partir do <\/span>ts_data <\/span>matriz de matrizes<\/span><\/li>\n
        2. Ele transmite os resultados com efici\u00eancia quando \u00e9 usado com UNNEST, otimizando o tempo de resposta e o uso da mem\u00f3ria<\/span><\/li>\n
        3. Ele pode gerar automaticamente o registro de data e hora para cada ponto de dados quando o par\u00e2metro ts_interval \u00e9 usado<\/span><\/li>\n
        4. Ele oferece suporte a casos de uso de s\u00e9ries temporais mais avan\u00e7ados para intervalos irregulares de pontos de dados de s\u00e9ries temporais, como, por exemplo, em vez de v\u00e1rios conjuntos de pontos de dados por registro de data e hora<\/span><\/li>\n<\/ol>\n<\/li>\n<\/ol>\n
          Consulte o <\/span>Documenta\u00e7\u00e3o de s\u00e9ries temporais do Couchbase<\/span><\/a> para obter mais detalhes.<\/span><\/p>\n
          Armazenamento otimizado de \u00edndices<\/span><\/h3>\n
          Devido \u00e0 forma como o Couchbase armazena dados de s\u00e9ries temporais, com cada ponto de dados armazenado como um elemento em uma matriz dentro de um documento JSON, podemos otimizar nossa estrat\u00e9gia de indexa\u00e7\u00e3o do banco de dados. Especificamente, como cada documento cont\u00e9m a hora inicial e final de todos os pontos de dados na matriz, podemos criar uma \u00fanica defini\u00e7\u00e3o de \u00edndice para cada documento. Isso significa que, mesmo para grandes conjuntos de dados de s\u00e9ries temporais com milh\u00f5es de pontos de dados, podemos armazenar os dados em apenas alguns documentos, em vez de um documento por ponto de dados.<\/span><\/p>\n
          Por exemplo, um conjunto de dados de s\u00e9rie temporal com 1 milh\u00e3o de pontos de dados pode ser armazenado em apenas 1.000 documentos, supondo que cada ts_data<\/em> pode armazenar at\u00e9 1.000 elementos de dados e o tamanho do documento permanece abaixo do limite de 20 MB de documentos JSON do Couchbase. Isso n\u00e3o apenas reduz o n\u00famero de documentos necess\u00e1rios para armazenar os dados, mas tamb\u00e9m leva a tamanhos de \u00edndice menores, melhorando o desempenho do banco de dados e reduzindo os requisitos de espa\u00e7o em disco.<\/span><\/p>\n
          Em resumo, aproveitando a capacidade do Couchbase de armazenar dados de s\u00e9ries temporais como matrizes dentro de documentos JSON, podemos otimizar nossa estrat\u00e9gia de indexa\u00e7\u00e3o para reduzir significativamente o n\u00famero de documentos necess\u00e1rios e reduzir o tamanho do \u00edndice, resultando em um desempenho de consulta mais r\u00e1pido e no uso mais eficiente dos recursos de armazenamento.<\/span><\/p>\n
          CREATE INDEX ix1 ON docs(ticker, ts_end, ts_start);<\/pre>\n
          Reten\u00e7\u00e3o de dados\u00a0<\/span><\/h3>\n
          Os documentos de s\u00e9rie temporal s\u00e3o armazenados como documentos JSON padr\u00e3o no Couchbase. Portanto, o mesmo Time-To-Live (TTL) pode ser definido durante o processo de carregamento de dados.<\/span><\/p>\n
          \/* The document will be automatically removed in 30 days *\/\r\n\r\nINSERT INTO coll1 (KEY, VALUE)\u00a0\r\n\r\n\u00a0\u00a0\u00a0VALUES (\"stock:XYZ:d1\", {\"ticker\":\"XYZ\",..}, {\"expiration\":60*60*24*30});<\/pre>\n
          Exemplo de passo a passo<\/span><\/h2>\n
          Ent\u00e3o, vamos percorrer o processo de carregamento de um conjunto de dados de pre\u00e7os de a\u00e7\u00f5es reais no Couchbase usando o modelo de dados de s\u00e9rie temporal, conforme definido pelo recurso.<\/span><\/p>\n
          Como descrevi acima, o recurso de s\u00e9rie temporal do Couchbase requer o documento JSON nesse formato espec\u00edfico:<\/span><\/p>\n
          docid:\u00a0 \"stock:XYZ:d1\"\r\n{\r\n\u00a0 \"ts_data\": [ [1672531200000, 92.08, 95.62],[1672531201000, 95.62, 99.25],..]\r\n\u00a0 \"ts_start\": 1672531200000 \/* dstart and dend denote the *\/\r\n\u00a0 \"ts_end\": \u00a0 1672617599999,\/* time range of all data points in ts_data *\/\u00a0 \u00a0 \u00a0\r\n\u00a0 \"ticker\": \u00a0 \"XYZ\"\r\n}<\/pre>\n
          Siga as etapas abaixo se precisar converter seus pr\u00f3prios dados de s\u00e9rie temporal no formato acima.<\/span><\/p>\n
          O conjunto de dados usado aqui \u00e9 para o pre\u00e7o das a\u00e7\u00f5es da XYZ Inc de 2013 a 2015.\u00a0<\/span><\/p>\n
          XYZ_data.csv<\/b><\/p>\n
          date,open,high,low,close,volume,Name\r\n2013-02-08,27.285,27.595,27.24,27.295,5100734,XYZ\r\n2013-02-11,27.64,27.95,27.365,27.61,8916290,XYZ\r\n2013-02-12,27.45,27.605,27.395,27.545,3866508,XYZ<\/pre>\n
          Migrar dados para a estrutura de dados de s\u00e9rie temporal do Couchbase<\/span><\/h3>\n
            \n
          1. Carregue o arquivo CSV em uma cole\u00e7\u00e3o do Couchbase:<\/span><\/li>\n<\/ol>\n
            cbimport csv --infer-types -c https:\/\/<cluster>:8091 -u <login> -p <password> -d 'file:\/\/XYZ_data.csv' -b 'ts' --scope-collection-exp \"s1.c1\" -g \"#UUID#\"<\/pre>\n
            A importa\u00e7\u00e3o criar\u00e1 um documento JSON na cole\u00e7\u00e3o c1<\/em> para cada ponto de dados.<\/span><\/p>\n
            {\r\n\u00a0 \u00a0 \"c1\": {\r\n\u00a0 \u00a0 \u00a0 \"Name\": \"XYZ\",\r\n\u00a0 \u00a0 \u00a0 \"close\": 55.99,\r\n\u00a0 \u00a0 \u00a0 \"date\": \"2016-05-25T00:00:00.000Z\",\r\n\u00a0 \u00a0 \u00a0 \"high\": 56.69,\r\n\u00a0 \u00a0 \u00a0 \"low\": 55.7699,\r\n\u00a0 \u00a0 \u00a0 \"open\": 56.47,\r\n\u00a0 \u00a0 \u00a0 \"volume\": 9921707\r\n\u00a0 \u00a0 }\r\n\u00a0 },\r\n\u00a0 {\r\n\u00a0 \u00a0 \"c1\": {\r\n\u00a0 \u00a0 \u00a0 \"Name\": \"XYZ\",\r\n\u00a0 \u00a0 \u00a0 \"close\": 31.075,\r\n\u00a0 \u00a0 \u00a0 \"date\": \"2013-06-11T00:00:00.000Z\",\r\n\u00a0 \u00a0 \u00a0 \"high\": 31.47,\r\n\u00a0 \u00a0 \u00a0 \"low\": 30.985,\r\n\u00a0 \u00a0 \u00a0 \"open\": 31.15,\r\n\u00a0 \u00a0 \u00a0 \"volume\": 5540312\r\n\u00a0 \u00a0 }\r\n\u00a0 },\u00a0\u00a0\u2026<\/pre>\n
            2. Use o SQL++ para transformar a cole\u00e7\u00e3o c1<\/em> na estrutura de dados da s\u00e9rie temporal e, em seguida, insira na cole\u00e7\u00e3o c3:<\/em><\/span><\/p>\n
            INSERT INTO ts.s1.c3 (KEY _k, VALUE _v)\r\nSELECT \"stock:XYZ:2013\" _k,\r\n{\"ticker\": a.Name ,\r\n\u00a0 \"ts_start\" : MIN(STR_TO_MILLIS(a.date)),\r\n\u00a0 \"ts_end\" : MAX(STR_TO_MILLIS(a.date)),\r\n\u00a0 \"ts_data\" : ARRAY_AGG([STR_TO_MILLIS(a.date), a.close]) } _v\u00a0\r\nFROM ts.s1.c1 a\r\nWHERE a.date BETWEEN \"2013-01-01\" AND \"2013-12-31\"\r\nGROUP BY a.Name;<\/pre>\n
            O SQL++ executa uma INSERT SELECT<\/em> e cria um \u00fanico documento com a estrutura necess\u00e1ria para o processamento de s\u00e9ries temporais do Couchbase. Observe que o ts_data<\/em> cont\u00e9m todos os pontos de dados de pre\u00e7o de fechamento di\u00e1rio de 2013.\u00a0<\/span><\/p>\n
            3. Repita o INSERT\/SELECT para 2014 e 2015.<\/span><\/p>\n
            [\r\n\u00a0 {\r\n\u00a0 \u00a0 \"id\": \"stock:XYZ:2013\",\r\n\u00a0 \u00a0 \"ticker\": \"XYZ\",\r\n\u00a0 \u00a0 \"ts_start\": 1387497600000,\r\n\u00a0 \u00a0 \"ts_end\": 1365465600000,\r\n\u00a0 \u00a0 \"ts_data\": [\r\n\u00a0 \u00a0 \u00a0 [ 1387497600000, 38.67 ],\r\n\u00a0 \u00a0 \u00a0 [ 1380585600000, 36.21 ],\r\n\u00a0 \u00a0 \u00a0 ...]\r\n\r\n\u00a0 },\r\n\u00a0 {\r\n\u00a0 \u00a0 \"id\": \"stock:XYZ:2014\",\r\n\u00a0 \u00a0 \"ticker\": \"XYZ\",\r\n\u00a0 \u00a0 \"ts_start\": 1413331200000,\r\n\u00a0 \u00a0 \"ts_end\": 1402444800000,\r\n\u00a0 \u00a0 \"ts_data\": [\r\n\u00a0 \u00a0 \u00a0 [ 1413331200000, 42.59 ],\r\n\u00a0 \u00a0 \u00a0 [ 1399507200000, 36.525],\r\n\u00a0 \u00a0 \u00a0 ...]\r\n\u00a0 },\r\n\u00a0 {\r\n\u00a0 \u00a0 \"id\": \"stock:XYZ:2015\",\r\n\u00a0 \u00a0 \"ticker\": \"XYZ\",\r\n\u00a0 \u00a0 \"ts_start\": 1444780800000,\r\n\u00a0 \u00a0 \"ts_end\": 1436313600000,\r\n\u00a0 \u00a0 \"ts_data\": [\r\n\u00a0 \u00a0 \u00a0 [ 1444780800000, 62.92 ],\r\n\u00a0 \u00a0 \u00a0 [ 1421280000000, 46.405],\r\n\u00a0 \u00a0 \u00a0 ...]\r\n\r\n\u00a0 }\r\n]<\/pre>\n
            Estrat\u00e9gias de ingest\u00e3o de dados<\/span><\/h3>\n
            H\u00e1 v\u00e1rios cen\u00e1rios que voc\u00ea pode ter para o carregamento incremental de seus documentos JSON de s\u00e9rie temporal.<\/span><\/p>\n
              \n
            1. \n
                \n
              1. Adi\u00e7\u00e3o de um intervalo de pontos de dados como um novo documento JSON - Para esse cen\u00e1rio, voc\u00ea pode usar o INSERT do SQL++ acima. Voc\u00ea s\u00f3 precisa garantir que os intervalos de pontos de dados n\u00e3o se sobreponham aos documentos existentes.<\/span><\/li>\n
              2. Adi\u00e7\u00e3o de um intervalo de pontos de dados ao <\/span>um documento JSON existente<\/b> - Aqui voc\u00ea tem duas op\u00e7\u00f5es:<\/span>\n