Almacena cientos de terabytes de datos JSON y consulta en milisegundos con Couchbase 7.1. Nuestro nuevo motor de almacenamiento en 7.1, Couchbase Magma, hace de Couchbase la base de datos más rentable y eficaz, reduciendo el coste total de propiedad.
Con el motor de almacenamiento Magma, Couchbase 7.1 se convierte en la base de datos ideal para sus casos de uso intensivo de datos. Algunos ejemplos de estos casos de uso incluyen aplicaciones de escritura intensiva como IoT y logging; aplicaciones de lectura intensiva con grandes conjuntos de datos como portales de clientes; así como cargas de trabajo mixtas con grandes conjuntos de datos como metadatos y almacenes de contenido (almacenes de fotos/vídeos) y perfiles de usuario.
Profundicemos en las ventajas de Magma y en cómo puede empezar a utilizarlo.
Magma Reducción del TCO
El diseño de Magma le permite funcionar con cantidades mínimas de memoria: es estable desde el punto de vista operativo con una relación memoria/datos tan baja como 1%. Por ejemplo, si desea almacenar 1 TB de datos en un nodo, sólo necesita 10 GB de memoria para funcionar con Magma si desea acceder a todo principalmente desde el disco. Si quieres velocidad de acceso en memoria (por debajo del milisegundo) para tu conjunto de trabajo, probablemente querrás utilizar una relación memoria/datos que represente tu conjunto de trabajo.
Magma también puede almacenar grandes cantidades de datos por nodo: hemos probado y certificado hasta 10 TB de datos por nodo (esto incluye datos primarios y de réplica). Por lo tanto, para almacenar 100 TB de datos, solo necesitas 10 servidores en un clúster de Couchbase.
Si estás familiarizado con el motor de almacenamiento existente de Couchbase llamado Couchstore, sabrás que Couchstore requiere un mínimo de 10% de ratio memoria-datos, y recomienda no más de 2-3TB de datos por nodo.
La reducción de la relación memoria/datos de 10% a 1%, y el aumento de la densidad de nodos a 10TB de datos se traduce en una reducción de 10 veces en los servidores para la mayoría de los escenarios, y la correspondiente reducción de 10 veces en el coste total de propiedad.
Aumento del rendimiento de Magma
Para cargas de trabajo basadas en discoMagma mejora significativamente el rendimiento. Algunos aspectos destacados de las mejoras de rendimiento son:
-
- Rendimiento 4 veces superior para cargas de trabajo mixtas basadas en disco en comparación con el motor de almacenamiento actual (Couchstore). Realizamos pruebas internas periódicas con el benchmark YCSB (véase el gráfico a continuación como referencia).
- Mejora de 10 veces en la latencia de cola para las lecturas: Percentil 99,9 < 10 ms en unidades SSD normales.
- 2x de mejora en rendimiento y latencia para escrituras persistentes y duraderas utilizadas en cargas de trabajo transaccionales ACID.
- 20% mejor compresión y, por tanto, reducción del consumo de espacio en disco.
Este es un gráfico de nuestras ejecuciones periódicas de un YCSB Carga de trabajo G. Demuestra una mejora del rendimiento de más de 4 veces en una carga de trabajo de lectura-modificación-escritura. Lo ejecutamos con una carga de trabajo de lectura-modificación-escritura de 100% con una distribución uniforme. Dado que el coeficiente de residentes es de 30%, la carga de trabajo se concentra en el disco, con 70% de las lecturas en el disco. El ratio de fragmentación se fijó en 50% tanto para Magma como para Couchstore.
La magia de Magma
¿Cómo consigue Magma todas estas ventajas para el coste total de propiedad y el rendimiento? Magma se basa en una arquitectura propia desarrollada internamente en Couchbase que combina Árboles de fusión con estructura de registro (LSM) con separación de valores en un almacén de objetos con estructura de registro. Esta combinación crea un motor de almacenamiento con unas métricas de eficiencia mucho mejores para la amplificación de la lectura, la amplificación de la escritura y la amplificación del espacio en comparación con un motor de almacenamiento basado en LSM estándar como RocksDB.
Arquitectura del motor de almacenamiento Magma.
Magma tiene una compactación incremental escalable con micro-compactaciones que están continuamente en curso y por lo tanto no se producen pausas notables de lectura o escritura debido a la compactación. Además, la compactación es paralela, lo que permite beneficiarse del paralelismo del subsistema de E/S subyacente. La compactación granular y continua también reduce la amplificación del espacio y, por tanto, la cantidad total de espacio de disco necesario. Magma realiza compresión por bloques, lo que proporciona mejores ratios de compresión que la compresión a nivel de documento por sí sola, reduciendo aún más la cantidad de espacio en disco necesario.
Cómo utilizar Magma
Una vez que haya configure su clúster CouchbasePuedes crear un bucket Couchbase (un bucket es como una base de datos en Couchbase) con la selección de motor de almacenamiento Magma. Sí, la elección del motor de almacenamiento Magma está disponible por bucket. Puedes tener un único cluster Couchbase con algunos buckets Magma y algunos buckets Couchstore. Esto hace que sea más fácil probar Magma en tus clusters Couchbase existentes. Para casos de uso intensivo de datos donde Magma es ideal, probablemente querrás tener sólo buckets Magma en tu cluster.
Tenga en cuenta que para los cubos Magma, se recomienda establecer el método de expulsión en Completo esto implica que incluso las claves serán desalojadas de la caché), especialmente si se está ejecutando con una relación memoria/datos baja. La expulsión completa es la selección predeterminada para un cubo Magma.
Una vez que hayas creado un bucket con Magma como selección, puedes empezar a usarlo para cargar y consultar tus datos usando cualquiera de las APIs de Couchbase.
Creación de un cubo Magma en la interfaz de administración de Couchbase.
Próximos pasos para reducir el TCO
El motor de almacenamiento Magma convierte a Couchbase 7.1 en una base de datos de alto rendimiento, orientada a disco, para sus grandes conjuntos de datos compuestos por cientos de terabytes de datos. La relación memoria/datos requerida es tan baja como 1%, lo que reduce drásticamente el coste total de propiedad para el número de servidores necesarios. Couchbase 7.1 puede abordar esos casos de uso que antes eran prohibitivos en términos de coste y reducir el TCO cuando los datos crecen rápidamente. Descarga Couchbase hoy mismo y prueba estas nuevas innovaciones.
Obtenga más información con estos recursos:
