Opções de camada de armazenamento físico para o Couchbase como um sistema persistente de registros

Em um blog anteriorEm minha palestra, falei sobre várias estratégias de armazenamento que precisam ser consideradas ao escolher o armazenamento correto para atender aos requisitos de sua empresa. Isso se torna mais importante à medida que os conjuntos de dados continuam a crescer e o desempenho consistente é exigido pela empresa.

Agora, com a introdução do novo mecanismo de armazenamento do Couchbase, Magmavocê tem ainda mais opções para ajudá-lo a atingir as metas de negócios. A abordagem das prioridades de armazenamento é ainda mais possível, pois o Magma lida com grandes conjuntos de dados que não cabem na memória e dependem principalmente de subsistemas de disco.

Ao avaliar como usar o Couchbase como um sistema persistente de registros, o foco precisa se afastar da camada de armazenamento virtual (também conhecida como armazenamento definido por software) e, em vez disso, olhar para a camada de armazenamento físico subjacente. Cada tipo de opção de armazenamento tem implicações diferentes a serem consideradas ao escolher a camada do subsistema de armazenamento subjacente.

 Primeiro, vamos dar uma olhada nas opções e depois investigar mais a fundo:

 Rede de área de armazenamento (SAN) usando SCSI com matrizes e HDDs tradicionais (disco giratório)

• • • Por exemplo, EMC, HP, IBM...

SAN usando NVMe com matrizes e flash/SSDs

• • • Por exemplo, Pure Storage, Violin, EMC...

Dispositivos de armazenamento de conexão direta (DASD) usando NVMe com matrizes e flash/SSDs

Armazenamento em rede usando NFS/TCP

• • • NetApp

Considerações ao selecionar o subsistema de armazenamento

Essa não é uma lista exaustiva, pois há outros itens que precisam ser considerados, mas ela lhe dá uma boa ideia das áreas a serem consideradas:

 Desempenho

• • IOPS
  • Latência

Resiliência

• • RAID - na camada física
  • Espelhamento - na camada física

Gerenciamento

• • Quem gerenciará o hardware de armazenamento?
  • Quem configurará/implementará o armazenamento?

Status Quo

• • O armazenamento e a infraestrutura necessários já estão implementados?
  • Há necessidade de uma nova solução de armazenamento?
  • Há experiência para dar suporte a uma nova solução, caso seja decidido?

Agilidade

• • À prova de futuro - Capacidade de mudar para novas tecnologias quando necessário para atender às demandas em constante mudança.

Perfil do banco de dados

• • Leitura intensiva
  • Intensivo de escrita
  • Isso pode influenciar os requisitos de hardware, sendo que alguns armazenamentos são melhores para lidar com cargas de trabalho com uso intensivo de gravação e, inversamente, com cargas de trabalho com uso intensivo de leitura.

Custo

Ao analisar o custo, ele precisa ser mais holístico do que apenas analisar o armazenamento físico subjacente e as camadas de rede de armazenamento, ele precisa levar em consideração: mgerenciamento, implementação, infraestrutura existente, resfriamento. Cada um deles, quando incorporado ao TCO, custará mais do que os custos do hardware subjacente, portanto, é fundamental que sejam considerados.

Comparação das opções de armazenamento físico

A tabela a seguir compara as várias abordagens:

Conforme discutido anteriormente, a escolha da solução de armazenamento correta pode ter um grande impacto em seus aplicativos! O planejamento adequado e o envolvimento com outras partes interessadas são fundamentais para o sucesso da seleção e da implementação do subsistema de armazenamento.

Outras considerações que devem ser levadas em conta ao escolher uma solução de armazenamento:

• Entenda suas cargas de trabalho, sejam elas principalmente leituras ou gravações, a quantidade de operações de E/S que seu banco de dados deve fornecer.
• Escolha uma solução que atenda aos requisitos de desempenho e latência mencionados acima.
• Atender aos requisitos de negócios agora com previsão para as futuras cargas de trabalho previstas. Permanecer ágil para adotar novas tecnologias à medida que forem lançadas. Equilibrar os requisitos orçamentários da empresa com soluções de armazenamento adequadas.

 Por fim, com o crescimento das cargas de trabalho, a RAM está lutando para ser dimensionada para conter todo o conjunto de dados de trabalho. Conforme discutido anteriormente, o Magma, o novo mecanismo de armazenamento do Couchbase, foi projetado para acomodar isso com conjuntos de dados parciais que residem no disco. Agora seria um bom momento para você investigar como pode aproveitar os recursos do Magma. 

Em poucas palavras, O desempenho do acesso ao disco só será tão bom quanto os subsistemas de disco subjacentes, e o uso de SSDs NVMe proporcionará a melhor paridade para conjuntos de dados inteiros contidos na memória.

Leitura adicional

• • Magma: O mecanismo de armazenamento de documentos de última geração
  • Couchbase como um sistema persistente de registros - Considerações sobre armazenamento
  • Motores de armazenamento - Magma documentos