En las últimas dos semanas, se han publicado benchmarks patrocinados por Couchbase y MongoDB que comparan sus productos estrella entre sí y con Cassandra. Esto es bueno para la industria NoSQL, siempre y cuando los puntos de referencia sean abiertos, reproducibles y no estén excesivamente diseñados para favorecer una solución sobre otra. Los puntos de referencia competitivos pueden proporcionar información valiosa a los desarrolladores e ingenieros de operaciones que están evaluando diversas soluciones.
Los puntos de referencia son cada vez más importantes en la fase 2 de la adopción de NoSQL: Despliegues de misión crítica
La publicación de un número cada vez mayor de puntos de referencia no es sorprendente. Durante la primera fase de adopción de NoSQL, los puntos de referencia eran algo menos importantes porque la mayoría de los usuarios experimentaban con NoSQL o lo utilizaban en aplicaciones bastante ligeras que funcionaban a pequeña escala. En 2013 entramos en la segunda fase de adopción de NoSQL, en la que las empresas están desplegando NoSQL para aplicaciones de misión crítica que operan a escala significativa. El uso de puntos de referencia está aumentando durante esta fase, porque el rendimiento a escala es crítico para la mayoría de estas aplicaciones. Los desarrolladores y los ingenieros de operaciones necesitan saber qué productos funcionan mejor para sus casos de uso y cargas de trabajo específicos.
Diferentes puntos de referencia para diferentes casos de uso
Es totalmente legítimo que los benchmarks se centren en casos de uso y cargas de trabajo que coincidan con el mercado objetivo y los "puntos dulces" de los productos del proveedor patrocinador. Eso no los invalida. Simplemente señala la importancia de resaltar cuáles son esos casos de uso y cargas de trabajo para que los desarrolladores y los ingenieros de operaciones puedan evaluar si el punto de referencia es aplicable a sus situaciones específicas.
Por ejemplo, Couchbase está muy centrado en dar soporte a aplicaciones empresariales de misión crítica que operan a una escala significativa con cargas de trabajo mixtas de lectura/escritura. Como resultado, nuestras pruebas se ejecutan en clústeres con muchos servidores y reflejan esas cargas de trabajo. Por el contrario, MongoDB está presumiblemente más centrado en dar soporte a aplicaciones que operan a una escala mucho menor y, por tanto, patrocinó una prueba comparativa con una pequeña cantidad de datos ejecutándose en un único servidor. Ambos son válidos, pero para situaciones y usuarios completamente diferentes.
Mantener la equidad
Sin embargo, para ser útiles, los puntos de referencia deben ser justos. De lo contrario, tienen poco valor para los desarrolladores y los ingenieros de operaciones. Los proveedores pueden quejarse de que un benchmark no es justo porque se centra en un caso de uso y una carga de trabajo que no son los suyos. No son quejas válidas. Por otra parte, los puntos de referencia deben hacer todo lo posible para lograr una comparación de manzanas con manzanas y, por ejemplo, utilizar las versiones más recientes de software. Las comparaciones "de igual a igual" pueden ser difíciles, porque las arquitecturas y las configuraciones operativas de cada producto son muy diferentes, pero hay que hacer un esfuerzo importante para conseguirlo. Utilizar la versión correcta del software debería ser muy fácil de conseguir y debería solucionarse rápidamente cuando no sea así.
Transparencia
La transparencia implica al menos dos cosas: (1) comunicar claramente los casos de uso y las cargas de trabajo que se están midiendo, y (2) hacer que los puntos de referencia sean abiertos para que otros puedan reproducirlos, verificar los resultados y modificarlos para que se ajusten más a los casos de uso específicos que les interesan.
Una señal del crecimiento y la adopción de NoSQL
Los proveedores seguirán patrocinando y publicando puntos de referencia, y seguirán orientándolos hacia los casos de uso que mejor soporte el proveedor. Todo esto no es más que otro indicador de la creciente importancia de NoSQL, que está creciendo rápidamente. Según un nuevo informe de Allied Market Research, se espera que el mercado mundial de NoSQL alcance los $4.200 millones en 2020, lo que supone una tasa de crecimiento anual del 35,1% entre 2014 y 2020. Cuando se hacen de forma justa y transparente, las evaluaciones comparativas de la competencia pueden ayudar a las empresas a elegir el producto adecuado para su conjunto particular de requisitos.
