{"id":2247,"date":"2022-10-17T09:24:10","date_gmt":"2022-10-17T16:24:10","guid":{"rendered":"https:\/\/www.couchbase.com\/blog\/magma-next-gen-document-storage-engine\/"},"modified":"2022-10-17T09:24:10","modified_gmt":"2022-10-17T16:24:10","slug":"magma-next-gen-document-storage-engine","status":"publish","type":"post","link":"https:\/\/www.couchbase.com\/blog\/pt\/magma-next-gen-document-storage-engine\/","title":{"rendered":"Magma: O Mecanismo de Armazenamento de Documentos de Nova Gera\u00e7\u00e3o"},"content":{"rendered":"

A plataforma de banco de dados Couchbase oferece suporte a dois mecanismos de armazenamento: Couchstore, o padr\u00e3o, e Magma, o mecanismo lan\u00e7ado recentemente. Ambos oferecem benef\u00edcios em v\u00e1rios cen\u00e1rios. Esta postagem no blog oferece uma breve vis\u00e3o geral do novo mecanismo de armazenamento Magma, <\/span>fornece uma compara\u00e7\u00e3o de cada motor e resume os resultados do testes de desempenho<\/a>.<\/span>\u00a0<\/span><\/p>\n\n\n\n

O Couchstore \u00e9 um mecanismo de armazenamento maduro, otimizado para alto desempenho com grandes conjuntos de dados, particularmente aqueles que cabem na mem\u00f3ria. O tamanho m\u00ednimo de bucket para o Couchstore \u00e9 de 100 MB. Ele \u00e9 ideal para casos de uso de cache e situa\u00e7\u00f5es em que a compress\u00e3o de dados n\u00e3o \u00e9 um fator decisivo principal.\u00a0<\/span><\/p>\n\n\n\n

O Magma \u00e9 um novo mecanismo de armazenamento projetado para ter alto desempenho mesmo com conjuntos de dados muito grandes que n\u00e3o cabem na mem\u00f3ria. Ele \u00e9 transcendental para casos de uso em que o acesso ao disco \u00e9 fundamental. O Magma \u00e9 otimizado para rodar com quantidades muito baixas de mem\u00f3ria, mesmo com conjuntos de dados muito grandes. O Magma realmente se destaca quando usado para <\/span>conjuntos de dados que n\u00e3o cabem na mem\u00f3ria dispon\u00edvel e que exigem compacta\u00e7\u00e3o m\u00e1xima de dados<\/span>.<\/span><\/p>\n\n\n\n

Abaixo est\u00e1 uma tabela de compara\u00e7\u00e3o que resume cada mecanismo de armazenamento.<\/span><\/p>\n\n\n\n

Compara\u00e7\u00e3o entre Couchstore e Magma<\/span><\/h2>\n\n\n\n
\n\n\n\n\n\n\n\n\n\n\n\n
Crit\u00e9rios<\/b><\/td>\nCouchstore<\/b><\/td>\nMagma<\/b><\/td>\n<\/tr>\n
Cota m\u00ednima de mem\u00f3ria do bucket<\/span><\/td>\n100MB<\/span><\/td>\n1 GB<\/span><\/td>\n<\/tr>\n
Raz\u00e3o m\u00ednima de mem\u00f3ria para dados<\/span><\/td>\n10%<\/span><\/td>\n1%<\/span><\/td>\n<\/tr>\n
Dados m\u00e1ximos por n\u00f3<\/span><\/td>\n3TB<\/span><\/td>\n10TB<\/span><\/td>\n<\/tr>\n
Otimiza\u00e7\u00e3o do tamanho dos dados<\/span><\/td>\nIdealmente quando o conjunto de dados de trabalho cabe na mem\u00f3ria<\/span><\/td>\nMelhor quando o <\/span>o conjunto de trabalho \u00e9 muito maior do que a mem\u00f3ria dispon\u00edvel e voc\u00ea precisa apenas de velocidade de acesso ao disco<\/span><\/td>\n<\/tr>\n
Armazenar e acessar<\/span><\/td>\nAcessar dados de at\u00e9 ~ 1TB<\/span><\/td>\nArmazene e acesse v\u00e1rios terabytes de dados<\/span><\/td>\n<\/tr>\n
Hardware<\/span><\/td>\nPode ser executado em hardware de baixo desempenho<\/span><\/td>\nHardware de qualidade \u00e9 preferido<\/span><\/td>\n<\/tr>\n
Servi\u00e7os suportados<\/span><\/td>\nTodos os servi\u00e7os, incluindo pesquisa de texto completo, eventos e an\u00e1lise, est\u00e3o dispon\u00edveis<\/span><\/td>\nTodos os servi\u00e7os, incluindo pesquisa de texto completo, eventos e an\u00e1lise, est\u00e3o dispon\u00edveis com o lan\u00e7amento da vers\u00e3o GA 7.1.2<\/td>\n<\/tr>\n
Persist\u00eancia de dados<\/span><\/td>\nA maioria dos dados \u00e9 acessada a partir do cache de mem\u00f3ria<\/span><\/td>\nAs aplica\u00e7\u00f5es precisam de grandes quantidades de dados persistentes e dur\u00e1veis<\/span><\/td>\n<\/tr>\n
Casos de uso<\/span><\/td>\nO caso de uso requer primariamente acesso \u00e0 mem\u00f3ria<\/span><\/td>\nO caso de uso requer principalmente acesso ao disco<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table><\/figure>\n\n\n\n

Vis\u00e3o Geral do Magma<\/span><\/h2>\n\n\n\n

O Magma \u00e9 o mecanismo de armazenamento de documentos de nova gera\u00e7\u00e3o do Couchbase Server. Ele foi projetado com os objetivos de melhorar tanto a densidade de dados quanto o desempenho de grava\u00e7\u00e3o em cada n\u00f3 do cluster. Ele atinge esses objetivos separando os dados de \u00edndice e de documentos para minimizar a amplifica\u00e7\u00e3o de grava\u00e7\u00e3o (WA). A amplifica\u00e7\u00e3o de grava\u00e7\u00e3o refere-se \u00e0 grava\u00e7\u00e3o de dados no armazenamento de arquivos, onde a grava\u00e7\u00e3o \u00e9 multiplicada devido a fatores como dados imut\u00e1veis. O Magma tamb\u00e9m inclui um m\u00e9todo de compacta\u00e7\u00e3o incremental para manter o espa\u00e7o e permitir alta densidade de dados e menores requisitos de mem\u00f3ria. A redu\u00e7\u00e3o da amplifica\u00e7\u00e3o de grava\u00e7\u00e3o aumenta a taxa de transfer\u00eancia de grava\u00e7\u00e3o e tamb\u00e9m estende a expectativa de vida \u00fatil dos SSDs, diminuindo o n\u00famero de ciclos de grava\u00e7\u00e3o e apagos.<\/span><\/p>\n\n\n\n

\u00a0<\/span>Outros objetivos de design para o projeto Magma inclu\u00edam:<\/span><\/p>\n\n\n\n

Compacta\u00e7\u00f5es concorrentes escal\u00e1veis <\/b>\u2013 A compacta\u00e7\u00e3o completa do banco de dados \u00e9 uma opera\u00e7\u00e3o custosa. O gerenciamento de um banco de dados de alta densidade requer compacta\u00e7\u00f5es pequenas, concorrentes e incrementais para recuperar espa\u00e7o.<\/span><\/p>\n\n\n\n

Otimiza\u00e7\u00e3o de unidade de estado s\u00f3lido (SSD)<\/b> \u2013 O I\/O aleat\u00f3rio foi minimizado para ocorrer apenas durante opera\u00e7\u00f5es de busca de pontos. Enquanto os padr\u00f5es de acesso de I\/O de leitura e escrita sequenciais s\u00e3o aproveitados para tirar proveito da largura de banda total dos SSDs.<\/span><\/p>\n\n\n\n

Baixo consumo de mem\u00f3ria<\/b> \u2013 Os dados de alta densidade diminuem a possibilidade de cache de leitura e escrita. Portanto, o Magma \u00e9 otimizado para utilizar um pequeno espa\u00e7o de mem\u00f3ria.<\/span><\/p>\n\n\n\n

Coleta de lixo<\/b> \u2013 O Magma inclui um m\u00e9todo para estimar a fragmenta\u00e7\u00e3o no armazenamento de objetos estruturado em logs e calcular com precis\u00e3o a fragmenta\u00e7\u00e3o do disco. Isso \u00e9 usado para calcular o tamanho do lixo por segmento de log, o que aciona compacta\u00e7\u00f5es quando a fragmenta\u00e7\u00e3o atinge um limite de 50%.<\/span><\/p>\n\n\n\n

Um aspecto fundamental da arquitetura Magma \u00e9 o armazenamento de objetos estruturado em log, que armazena documentos em um log segmentado somente de anexa\u00e7\u00e3o. O armazenamento estruturado em log mant\u00e9m um \u00edndice que permite a consulta de um documento por seqno (n\u00famero de sequ\u00eancia). O armazenamento de objetos cont\u00e9m arquivos de segmento de log que s\u00e3o organizados sequencialmente usando um log em crescimento com uma cauda para aceitar grava\u00e7\u00f5es recebidas (consulte o diagrama de arquitetura do armazenamento de objetos Magma abaixo). A thread em segundo plano anexa as muta\u00e7\u00f5es de documento ao log da cauda, com cada documento recebendo um seqno exclusivo.\u00a0<\/span><\/p>\n\n\n\n

\"Magma
Arquitetura de armazenamento de objetos Magma<\/em><\/figcaption><\/figure><\/p>\n\n\n\n

\u00a0<\/p>\n\n\n\n

Embora o log possa conter m\u00faltiplas vers\u00f5es de documentos imut\u00e1veis com a mesma chave, as vers\u00f5es mais antigas de documentos tornam-se obsoletas quando novas vers\u00f5es s\u00e3o anexadas. As opera\u00e7\u00f5es de leitura sempre leem a vers\u00e3o mais recente, portanto, quando uma busca de chave \u00e9 realizada, a vers\u00e3o mais recente do documento \u00e9 retornada. Eventualmente, os registros obsoletos s\u00e3o removidos do armazenamento e um processo separado de coleta de lixo \u00e9 usado para recuperar espa\u00e7o.<\/span><\/p>\n\n\n\n

Resumo de Desempenho<\/span><\/h2>\n\n\n\n

O Magma teve seu desempenho testado em compara\u00e7\u00e3o com o RocksDB e o Couchstore. A avalia\u00e7\u00e3o focou na vaz\u00e3o (throughput), amplia\u00e7\u00e3o de escrita e de espa\u00e7o para v\u00e1rias cargas de trabalho do Yahoo! Cloud Serving Benchmark (YCSB) com dados grandes demais para caber na mem\u00f3ria. Durante duas rodadas de testes, as conclus\u00f5es foram:<\/span><\/p>\n\n\n\n

Rodada 1<\/span><\/p>\n\n\n\n