{"id":13804,"date":"2022-10-17T09:24:10","date_gmt":"2022-10-17T16:24:10","guid":{"rendered":"https:\/\/www.couchbase.com\/blog\/?p=13804"},"modified":"2024-05-03T18:28:19","modified_gmt":"2024-05-04T01:28:19","slug":"magma-next-gen-document-storage-engine","status":"publish","type":"post","link":"https:\/\/www.couchbase.com\/blog\/pt\/magma-next-gen-document-storage-engine\/","title":{"rendered":"Magma: O mecanismo de armazenamento de documentos de \u00faltima gera\u00e7\u00e3o"},"content":{"rendered":"

A plataforma de banco de dados Couchbase oferece suporte a dois mecanismos de armazenamento: Couchstore, o padr\u00e3o, e Magma, o mecanismo lan\u00e7ado recentemente. Ambos oferecem benef\u00edcios em v\u00e1rios cen\u00e1rios. Esta postagem do blog apresenta uma breve vis\u00e3o geral do novo mecanismo de armazenamento Magma, <\/span>fornece uma compara\u00e7\u00e3o de cada mecanismo e resume os resultados do refer\u00eancias de desempenho<\/a>.<\/span>\u00a0<\/span><\/p>\n

O Couchstore \u00e9 um mecanismo de armazenamento maduro que \u00e9 otimizado para alto desempenho com grandes conjuntos de dados, especialmente aqueles que cabem na mem\u00f3ria. O tamanho m\u00ednimo do bucket para o Couchstore \u00e9 de 100 MB. Ele \u00e9 ideal para casos de uso de cache e situa\u00e7\u00f5es em que a compacta\u00e7\u00e3o de dados n\u00e3o \u00e9 o principal fator decisivo.\u00a0<\/span><\/p>\n

O Magma \u00e9 um novo mecanismo de armazenamento projetado para ter alto desempenho, mesmo com conjuntos de dados muito grandes que n\u00e3o cabem na mem\u00f3ria. Ele \u00e9 transcendente para casos de uso em que o acesso ao disco \u00e9 fundamental. O Magma \u00e9 otimizado para ser executado em quantidades muito baixas de mem\u00f3ria, mesmo com conjuntos de dados muito grandes. O Magma realmente se destaca quando usado para <\/span>conjuntos de dados que n\u00e3o cabem na mem\u00f3ria dispon\u00edvel e que exigem compacta\u00e7\u00e3o m\u00e1xima de dados<\/span>.<\/span><\/p>\n

Abaixo est\u00e1 uma tabela comparativa que resume cada mecanismo de armazenamento.<\/span><\/p>\n

Compara\u00e7\u00e3o entre Couchstore e Magma<\/span><\/h2>\n\n\n\n\n\n\n\n\n\n\n\n\n
Crit\u00e9rios<\/b><\/td>\nLoja de sof\u00e1s<\/b><\/td>\nMagma<\/b><\/td>\n<\/tr>\n
Cota m\u00ednima de mem\u00f3ria do bucket<\/span><\/td>\n100 MB<\/span><\/td>\n1 GB<\/span><\/td>\n<\/tr>\n
Rela\u00e7\u00e3o m\u00ednima entre mem\u00f3ria e dados<\/span><\/td>\n10%<\/span><\/td>\n1%<\/span><\/td>\n<\/tr>\n
M\u00e1ximo de dados por n\u00f3<\/span><\/td>\n3TB<\/span><\/td>\n10 TB<\/span><\/td>\n<\/tr>\n
Otimiza\u00e7\u00e3o do tamanho dos dados<\/span><\/td>\nMelhor quando o conjunto de dados de trabalho cabe na mem\u00f3ria<\/span><\/td>\nMelhor quando o <\/span>o conjunto de trabalho \u00e9 muito maior do que a mem\u00f3ria dispon\u00edvel e voc\u00ea precisa apenas da velocidade de acesso ao disco<\/span><\/td>\n<\/tr>\n
Armazenar e acessar<\/span><\/td>\nAcesse dados de at\u00e9 ~ 1 TB<\/span><\/td>\nArmazenar e acessar v\u00e1rios terabytes de dados<\/span><\/td>\n<\/tr>\n
Hardware<\/span><\/td>\nPode ser executado em hardware de baixo custo<\/span><\/td>\nPreferencialmente, hardware de qualidade<\/span><\/td>\n<\/tr>\n
Servi\u00e7os com suporte<\/span><\/td>\nTodos os servi\u00e7os, incluindo pesquisa de texto completo, eventos e an\u00e1lises, est\u00e3o dispon\u00edveis<\/span><\/td>\nTodos os servi\u00e7os, incluindo pesquisa de texto completo, eventos e an\u00e1lises, est\u00e3o dispon\u00edveis com a vers\u00e3o 7.1.2 GA<\/td>\n<\/tr>\n
Persist\u00eancia de dados<\/span><\/td>\nA maioria dos dados \u00e9 acessada a partir do cache de mem\u00f3ria<\/span><\/td>\nOs aplicativos precisam de grandes quantidades de dados persistentes e dur\u00e1veis<\/span><\/td>\n<\/tr>\n
Casos de uso<\/span><\/td>\nO caso de uso requer principalmente acesso \u00e0 mem\u00f3ria<\/span><\/td>\nO caso de uso requer principalmente acesso ao disco<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Vis\u00e3o geral do Magma<\/span><\/h2>\n

O Magma \u00e9 o mecanismo de armazenamento de documentos de \u00faltima gera\u00e7\u00e3o do Couchbase Server. Ele foi projetado com o objetivo de melhorar a densidade dos dados e o desempenho de grava\u00e7\u00e3o em cada n\u00f3 do cluster. Ele atinge esses objetivos separando os dados de \u00edndice e de documento para minimizar a amplifica\u00e7\u00e3o de grava\u00e7\u00e3o (WA). A amplifica\u00e7\u00e3o de grava\u00e7\u00e3o est\u00e1 relacionada \u00e0 grava\u00e7\u00e3o de dados no armazenamento de arquivos em que a grava\u00e7\u00e3o \u00e9 multiplicada devido a fatores como dados imut\u00e1veis. O Magma tamb\u00e9m inclui um m\u00e9todo de compacta\u00e7\u00e3o incremental para manter o espa\u00e7o e permitir uma alta densidade de dados e menores requisitos de mem\u00f3ria. A redu\u00e7\u00e3o da amplifica\u00e7\u00e3o de grava\u00e7\u00e3o aumenta a taxa de transfer\u00eancia de grava\u00e7\u00e3o e tamb\u00e9m aumenta a expectativa de vida dos SSDs, reduzindo o n\u00famero de ciclos de grava\u00e7\u00e3o e apagamento.<\/span><\/p>\n

\u00a0<\/span>Outras metas de design do projeto Magma inclu\u00edam:<\/span><\/p>\n

Compacta\u00e7\u00f5es simult\u00e2neas escalon\u00e1veis <\/b>- A compacta\u00e7\u00e3o total do banco de dados \u00e9 uma opera\u00e7\u00e3o cara. O gerenciamento de um banco de dados de alta densidade requer compacta\u00e7\u00f5es pequenas, simult\u00e2neas e incrementais para recuperar espa\u00e7o.<\/span><\/p>\n

Otimiza\u00e7\u00e3o da unidade de estado s\u00f3lido (SSD)<\/b> - A E\/S aleat\u00f3ria foi minimizada para ocorrer somente durante as opera\u00e7\u00f5es de pesquisa de pontos. Enquanto os padr\u00f5es de acesso de E\/S de leitura e grava\u00e7\u00e3o sequenciais s\u00e3o aproveitados para tirar proveito de toda a largura de banda das SSDs.<\/span><\/p>\n

Baixo consumo de mem\u00f3ria<\/b> - Os dados de alta densidade diminuem a possibilidade de cache de leitura e grava\u00e7\u00e3o. Portanto, o Magma \u00e9 otimizado para utilizar uma pequena \u00e1rea de mem\u00f3ria.<\/span><\/p>\n

Coleta de lixo<\/b> - O Magma inclui um m\u00e9todo para estimar a fragmenta\u00e7\u00e3o no armazenamento de objetos estruturados em log e calcular com precis\u00e3o a fragmenta\u00e7\u00e3o do disco. Isso \u00e9 usado para calcular o tamanho do lixo por segmento de registro que aciona as compacta\u00e7\u00f5es quando a fragmenta\u00e7\u00e3o atinge um limite de 50%.<\/span><\/p>\n

Um aspecto importante da arquitetura do Magma \u00e9 o armazenamento de objetos estruturados em log, que armazena documentos em um log segmentado somente para anexos. O armazenamento estruturado em log mant\u00e9m um \u00edndice que permite a consulta de um documento por seqno (n\u00famero de sequ\u00eancia). O armazenamento de objetos cont\u00e9m arquivos de segmento de log que s\u00e3o organizados sequencialmente usando um log crescente com uma cauda para aceitar grava\u00e7\u00f5es de entrada (consulte o diagrama de arquitetura do armazenamento de objetos do Magma abaixo). O thread em segundo plano anexa as muta\u00e7\u00f5es de documentos ao log de cauda, com cada documento recebendo um segno exclusivo.\u00a0<\/span><\/p>\n

\"Magma

Arquitetura do armazenamento de objetos Magma<\/em><\/p><\/div>\n

 <\/p>\n

Embora o registro possa conter v\u00e1rias vers\u00f5es imut\u00e1veis de documentos com a mesma chave, as vers\u00f5es mais antigas do documento tornam-se obsoletas quando novas vers\u00f5es s\u00e3o anexadas. As opera\u00e7\u00f5es de leitura sempre leem a vers\u00e3o mais recente, portanto, quando uma pesquisa de chave \u00e9 realizada, a vers\u00e3o mais recente do documento \u00e9 retornada. Eventualmente, os registros obsoletos s\u00e3o removidos do armazenamento e um processo separado de coleta de lixo \u00e9 usado para recuperar espa\u00e7o.<\/span><\/p>\n

Resumo do desempenho<\/span><\/h2>\n

O Magma foi testado quanto ao desempenho em rela\u00e7\u00e3o ao RocksDB e ao Couchstore. A avalia\u00e7\u00e3o se concentrou na taxa de transfer\u00eancia e na amplifica\u00e7\u00e3o de grava\u00e7\u00e3o e espa\u00e7o para v\u00e1rias cargas de trabalho do Yahoo! Cloud Serving Benchmark (YCSB) com dados grandes demais para caber na mem\u00f3ria. Durante duas rodadas de testes, as conclus\u00f5es foram as seguintes:<\/span><\/p>\n

Primeira rodada<\/span><\/p>\n