La gestión de grandes volúmenes de datos a alta velocidad plantea una serie de retos únicos. Desde la capacidad de la base de datos para ingerir los datos hasta el coste total de propiedad de la solución, dados los crecientes volúmenes de datos. El nuevo Motor de almacenamiento Magma ofrece un argumento convincente para almacenar estos datos a un coste óptimo, al tiempo que proporciona un alto rendimiento para las cargas de trabajo analíticas. En este blog, describo una implementación real de Magma y las ventajas que está proporcionando en las instalaciones de un cliente.
Infosys ha estado apoyando a un gran cliente de la industria del turismo en colaboración con Couchbase. El cliente utiliza Couchbase como tecnología central para dar soporte a casos de uso líderes en la industria que proporcionan el siguiente nivel de experiencia a sus huéspedes. Esto incluye dispositivos basados en IoT que transmiten información desde múltiples sitios gestionados por el cliente. Estos datos son variados, con más de 20 tipos diferentes de puntos de datos y son de alta velocidad, con datos que se generan a un ritmo de miles por segundo. Estos datos se transmiten a clústeres locales de Couchbase y se procesan antes de enviarse a un clúster de análisis basado en la nube.
La solución ha superado la prueba del tiempo y ha proporcionado información valiosa a la empresa sobre las preferencias y el comportamiento de los clientes, además de satisfacer importantes necesidades normativas. Debido al éxito del programa, el número de establecimientos y huéspedes ha aumentado 4 veces en los últimos tiempos, lo que ha provocado un enorme incremento del volumen de datos. Los clústeres de Couchbase han absorbido esta avalancha de datos con facilidad, y el clúster Analytics ha atendido eficazmente las crecientes necesidades de la empresa de obtener información sobre los datos.
A medida que los volúmenes de datos han ido creciendo, hemos tenido que aumentar el tamaño del clúster para mantener el ritmo, y esto ha incrementado el coste de funcionamiento del clúster. Dado el futuro del número de implantaciones, nuestro cliente buscaba optimizar el coste total de propiedad del clúster de análisis.
El lanzamiento del motor de almacenamiento Couchbase Magma llegó en el momento perfecto para nosotros, y fuimos uno de los primeros en adoptar la nueva tecnología. Creamos un clúster de archivo para tomar los datos del clúster principal basado en Couchstore (Couchstore es el motor original de almacenamiento profundo) e implementamos un programa de 6 semanas de duración. TTL en el clúster principal. El clúster principal tenía 14 nodos de datos, pero pudimos reducir el tamaño del clúster de archivo que ejecuta Magma a sólo 4 nodos de datos. Esto supone una reducción de 3,5 veces en la capacidad de hardware y almacenamiento necesaria. Esto supuso un ahorro anual de unos $800K. Podríamos haberlo ampliado aún más, pero hemos dejado margen suficiente para acomodar el crecimiento futuro durante los próximos 12 a 14 meses.
Dos características clave de Magma nos permitieron realizar esta drástica reducción:
-
- Se ha aumentado el tamaño de los discos a 10 TB por nodo (máximo recomendado en Magma) frente al límite de 1,5 TB por nodo.
- Reducir el ratio de residencia a 5% para los cubos (el mínimo recomendado es 1%) frente a los 40% de Couchstore.
Otro beneficio interesante que pudimos observar es el ahorro en el uso del disco debido a la compresión por bloques. Vimos una compresión casi 50% mejor en el motor Magma en comparación con Couchstore, con el uso de disco por documento pasando de 2,28 KB/doc a 1,47 KB/doc en disco para datos que son bastante uniformes.
Principales ventajas de Magma
Como próximos pasos tenemos la intención de tomar la versión 7.1.2 de Couchbase que tiene soporte para Analytics y Eventing en Magma y mejorar la segregación de datos en el clúster Magma. Podremos dividir los datos por meses y años para localizar de forma eficiente los datos específicos necesarios para la investigación histórica.
Si estás interesado en el funcionamiento interno de Magma, te recomiendo que leas la ponencia presentada en VLDB 2022. aquí.
