Nas últimas duas semanas, foram lançados benchmarks patrocinados pelo Couchbase e pelo MongoDB que compararam seus principais produtos entre si e com o Cassandra. Isso é bom para o setor de NoSQL, desde que os benchmarks sejam abertos, reproduzíveis e não sejam excessivamente projetados para favorecer uma solução em detrimento de outra. Os benchmarks competitivos podem fornecer informações valiosas para os desenvolvedores e engenheiros operacionais que estão avaliando várias soluções.
Benchmarks cada vez mais importantes na Fase 2 da adoção de NoSQL: Implantações de missão crítica
O lançamento de um número crescente de benchmarks não é surpreendente. Durante a primeira fase de adoção do NoSQL, os benchmarks eram um pouco menos importantes porque a maioria dos usuários estava experimentando o NoSQL ou usando-o em aplicativos bastante leves que operavam em pequena escala. Em 2013, entramos na segunda fase da adoção do NoSQL, na qual as empresas estão implantando o NoSQL para aplicativos de missão crítica que operam em escala significativa. O uso de benchmarks está aumentando durante essa fase, pois o desempenho em escala é fundamental para a maioria desses aplicativos. Os desenvolvedores e engenheiros de operações precisam saber quais produtos têm o melhor desempenho para seus casos de uso e cargas de trabalho específicos.
Diferentes padrões de referência para diferentes casos de uso
É totalmente legítimo que os benchmarks se concentrem em casos de uso e cargas de trabalho que se alinham ao mercado-alvo e aos "pontos ideais" dos produtos do fornecedor patrocinador. Isso não os torna inválidos. Apenas aponta a importância de destacar quais são esses casos de uso e cargas de trabalho para que os desenvolvedores e engenheiros de operações possam avaliar se o benchmark é aplicável às suas situações específicas.
Por exemplo, o Couchbase está muito focado no suporte a aplicativos de missão crítica de classe empresarial que operam em escala significativa com cargas de trabalho mistas de leitura/gravação. Como resultado, nossos benchmarks são executados em clusters com muitos servidores e refletem essas cargas de trabalho. Por outro lado, o MongoDB é presumivelmente mais focado no suporte a aplicativos que operam em escala muito menor e, portanto, patrocinou um benchmark com uma pequena quantidade de dados executados em um único servidor. Ambos são válidos, mas para situações e usuários completamente diferentes.
Mantendo a justiça
No entanto, para serem úteis, os benchmarks precisam ser justos. Caso contrário, eles terão pouco valor para os desenvolvedores e engenheiros de operações. Os fornecedores podem reclamar que um benchmark não é justo porque se concentra em um caso de uso e em uma carga de trabalho que não é a ideal para eles. Essas reclamações não são válidas. Por outro lado, os benchmarks precisam se esforçar ao máximo para fazer uma comparação homogênea e, por exemplo, usar as versões mais recentes do software. Pode ser difícil fazer comparações entre pares, porque as arquiteturas e as configurações operacionais de cada produto são muito diferentes, mas é preciso fazer um esforço significativo para conseguir isso. Usar a versão correta do software deve ser muito fácil e deve ser corrigido imediatamente quando não for.
Mantendo a transparência
A transparência implica em pelo menos duas coisas: (1) comunicar claramente os casos de uso e as cargas de trabalho que estão sendo medidos e (2) tornar os benchmarks abertos para que outras pessoas possam reproduzi-los, verificar os resultados e modificá-los para que se alinhem melhor aos casos de uso específicos que lhes interessam.
Um sinal do crescimento e da adoção do NoSQL
Os fornecedores continuarão a patrocinar e a publicar benchmarks, e continuarão a orientá-los para os casos de uso que o fornecedor suporta melhor. Tudo isso é apenas mais um indicador da importância crescente do NoSQL, que está crescendo rapidamente. De acordo com um novo relatório da Allied Market Research, espera-se que o mercado global de NoSQL atinja $4,2 bilhões até 2020 - uma taxa de crescimento anual de 35,1% de 2014 a 2020. Quando feitos de forma justa e transparente, os benchmarks competitivos podem ajudar as empresas a escolher o produto certo para seu conjunto específico de requisitos.
