O que o MongoDB tem contra a transparência?

O MongoDB publicou outro benchmark realizado pela United Software Associates.

Os benchmarks são uma ferramenta útil para avaliar desempenho do banco de dados. Mas, para serem úteis, elas devem ser transparentes e repetíveis. Se não atenderem a esses padrões, os resultados serão questionáveis.

Em benchmarks recentes, o Couchbase e o MongoDB adotaram duas abordagens diferentes. O Couchbase documentou claramente a configuração completa e incluía os resultados de cada teste. O MongoDB não o fez.

As tabelas abaixo ilustram as diferentes abordagens adotadas pela Avalon Consulting, LLC e pela United Software Associates:

Espero que o MongoDB e a DataStax me ajudem a aprimorar esse modelo para futuros benchmarks.

Resultados de benchmark da United Software Associates

Eles não publicaram os resultados de todos eles publicaram os resultados de um deles.

O benchmark indica que o número ideal de threads para cada banco de dados é 150 ou 350, dependendo da carga de trabalho, mas não indica o número de threads para os resultados publicados.

Carga de trabalho A Taxa de transferência

Resultados - Latência da carga de trabalho A

Avalon Consulting, LLC Resultados de referência

Eles publicaram os resultados de todos testes e indicou o número de threads para eles.

Carga de trabalho A Taxa de transferência

Resultados - Latência da carga de trabalho A

Configuração de referência

Um benchmark, se você se importar, deve responder às seguintes perguntas:

• Qual era a configuração do hardware?
• Como o sistema operacional foi configurado?
• Quais eram as versões do banco de dados e do cliente?
• Como os bancos de dados foram configurados?
• Como o YCSB foi configurado?

Então, qual configuração está faltando nesse benchmark da United Software Associates?

• O número de nós
• A configuração da réplica (# de réplicas
• A configuração de replicação (assíncrona ou sincronizada)
• A configuração de persistência (async ou sync)
• O tamanho dos valores
• O tamanho do conjunto de dados
• O tamanho do cache (por nó)
• O tamanho do conjunto total de dados (incluindo réplicas)
• A porcentagem de dados primários residentes na memória
• Os resultados de todas as execuções
• O número de threads para todas as execuções publicadas

Além disso, o repositório do GitHub mencionado neste white paper da United Software Associates não inclui a configuração do cliente para MongoDB, Cassandra ou Couchbase Server.

E quanto aos roteadores e servidores de configuração do MongoDB?

Eles foram implantados? Se sim, onde?

Não sei, pois esse benchmark não inclui todos da configuração. A primeira referência incluído mais da configuração, mas havia uma série de erros. Com esse benchmark, eles podem ter corrigido os erros, mas não incluíram todos da configuração.

Linha de fundo

É importante que os benchmarks sejam confiáveis. Qualquer pessoa deve ser capaz de reproduzir um benchmark e validar seus resultados. Toda a configuração deve ser fornecida e, de preferência, deve ser realizada na infraestrutura de nuvem. Caso contrário, os fornecedores podem manipular a configuração para fazer com que as comparações injustas pareçam justas.

Isso não é útil para ninguém.

Recursos

MongoDB + Benchmark da United Software Associates
Livro Branco | Código

Couchbase + Avalon Consulting, LLC Benchmark
Livro Branco | Código

Discutir sobre Notícias Hacker