{"id":13804,"date":"2022-10-17T09:24:10","date_gmt":"2022-10-17T16:24:10","guid":{"rendered":"https:\/\/www.couchbase.com\/blog\/?p=13804"},"modified":"2024-05-03T18:28:19","modified_gmt":"2024-05-04T01:28:19","slug":"magma-next-gen-document-storage-engine","status":"publish","type":"post","link":"https:\/\/www.couchbase.com\/blog\/es\/magma-next-gen-document-storage-engine\/","title":{"rendered":"Magma: El motor de almacenamiento de documentos de nueva generaci\u00f3n"},"content":{"rendered":"

La plataforma de base de datos Couchbase soporta dos mecanismos de almacenamiento: Couchstore, el predeterminado, y Magma, el motor lanzado recientemente. Ambos ofrecen ventajas en distintos escenarios. Esta entrada de blog ofrece una breve descripci\u00f3n del nuevo motor de almacenamiento Magma, <\/span>ofrece una comparaci\u00f3n de cada motor y resume los resultados de la par\u00e1metros de rendimiento<\/a>.<\/span>\u00a0<\/span><\/p>\n

Couchstore es un motor de almacenamiento maduro que est\u00e1 optimizado para ofrecer un alto rendimiento con grandes conjuntos de datos, especialmente los que caben en la memoria. El tama\u00f1o m\u00ednimo de bucket para Couchstore es de 100 MB. Es ideal para casos de uso de cach\u00e9 y situaciones en las que la compresi\u00f3n de datos no es un factor decisivo principal.\u00a0<\/span><\/p>\n

Magma es un nuevo motor de almacenamiento dise\u00f1ado para ofrecer un alto rendimiento incluso con conjuntos de datos muy grandes que no caben en la memoria. Es trascendente para casos de uso en los que el acceso al disco es primordial. Magma est\u00e1 optimizado para funcionar con cantidades muy bajas de memoria incluso con conjuntos de datos muy grandes. Magma brilla realmente cuando se utiliza para <\/span>conjuntos de datos que no caben en la memoria disponible y que requieren la m\u00e1xima compresi\u00f3n de datos<\/span>.<\/span><\/p>\n

A continuaci\u00f3n se muestra una tabla comparativa que resume cada mecanismo de almacenamiento.<\/span><\/p>\n

Comparaci\u00f3n entre Couchstore y Magma<\/span><\/h2>\n\n\n\n\n\n\n\n\n\n\n\n\n
Criterios<\/b><\/td>\nTienda de sof\u00e1s<\/b><\/td>\nMagma<\/b><\/td>\n<\/tr>\n
Cuota m\u00ednima de memoria del cubo<\/span><\/td>\n100 MB<\/span><\/td>\n1 GB<\/span><\/td>\n<\/tr>\n
Relaci\u00f3n m\u00ednima entre memoria y datos<\/span><\/td>\n10%<\/span><\/td>\n1%<\/span><\/td>\n<\/tr>\n
Datos m\u00e1ximos por nodo<\/span><\/td>\n3TB<\/span><\/td>\n10TB<\/span><\/td>\n<\/tr>\n
Optimizaci\u00f3n del tama\u00f1o de los datos<\/span><\/td>\nMejor cuando el conjunto de datos de trabajo cabe en la memoria<\/span><\/td>\nMejor cuando el <\/span>conjunto de trabajo es mucho mayor que la memoria disponible y s\u00f3lo necesita velocidad de acceso al disco<\/span><\/td>\n<\/tr>\n
Almacenar y acceder<\/span><\/td>\nAcceso a datos de hasta ~ 1 TB<\/span><\/td>\nAlmacenar y acceder a varios terabytes de datos<\/span><\/td>\n<\/tr>\n
Hardware<\/span><\/td>\nPuede funcionar con hardware de gama baja<\/span><\/td>\nSe prefiere el hardware de calidad<\/span><\/td>\n<\/tr>\n
Servicios de apoyo<\/span><\/td>\nTodos los servicios, incluidos la b\u00fasqueda de texto completo, la gesti\u00f3n de eventos y los an\u00e1lisis, est\u00e1n disponibles.<\/span><\/td>\nTodos los servicios, incluidos los de b\u00fasqueda de texto completo, eventos y an\u00e1lisis, est\u00e1n disponibles en la versi\u00f3n 7.1.2 GA.<\/td>\n<\/tr>\n
Persistencia de datos<\/span><\/td>\nLa mayor\u00eda de los datos se acceden desde la memoria cach\u00e9<\/span><\/td>\nLas aplicaciones necesitan grandes cantidades de datos persistentes y duraderos<\/span><\/td>\n<\/tr>\n
Casos pr\u00e1cticos<\/span><\/td>\nEl caso de uso requiere principalmente acceso a memoria<\/span><\/td>\nEl caso de uso requiere principalmente acceso a disco<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Magma<\/span><\/h2>\n

Magma es el motor de almacenamiento de documentos de nueva generaci\u00f3n de Couchbase Server. Fue dise\u00f1ado con el objetivo de mejorar tanto la densidad de datos como el rendimiento de escritura en cada nodo del cluster. Consigue estos objetivos separando los datos de \u00edndice y de documento para minimizar la amplificaci\u00f3n de escritura (WA). La amplificaci\u00f3n de escritura se refiere a la escritura de datos en el almacenamiento de archivos, donde la escritura se multiplica debido a factores como los datos inmutables. Magma tambi\u00e9n incluye un m\u00e9todo de compactaci\u00f3n incremental para mantener el espacio y permitir una alta densidad de datos y menores requisitos de memoria. La reducci\u00f3n de la amplificaci\u00f3n de escritura aumenta el rendimiento de escritura y tambi\u00e9n prolonga la esperanza de vida de las unidades SSD al reducir el n\u00famero de ciclos de escritura-borrado.<\/span><\/p>\n

\u00a0<\/span>Otros objetivos de dise\u00f1o del proyecto Magma eran:<\/span><\/p>\n

Compactaciones concurrentes escalables <\/b>- La compactaci\u00f3n completa de una base de datos es una operaci\u00f3n costosa. La gesti\u00f3n de una base de datos de alta densidad requiere compactaciones peque\u00f1as, concurrentes e incrementales para recuperar espacio.<\/span><\/p>\n

Optimizaci\u00f3n de las unidades de estado s\u00f3lido (SSD)<\/b> - La E\/S aleatoria se minimiz\u00f3 para que s\u00f3lo se produjera durante las operaciones de b\u00fasqueda de puntos. Mientras que los patrones de acceso de E\/S de lectura y escritura secuenciales se aprovechan para sacar partido de todo el ancho de banda de los SSD.<\/span><\/p>\n

Ocupa poca memoria<\/b> - La alta densidad de datos disminuye la posibilidad de almacenamiento en cach\u00e9 de lectura y escritura. Por eso, Magma est\u00e1 optimizado para ocupar poco espacio en la memoria.<\/span><\/p>\n

Recogida de basuras<\/b> - Magma incluye un m\u00e9todo para estimar la fragmentaci\u00f3n en el almac\u00e9n de objetos con estructura de registro y calcular con precisi\u00f3n la fragmentaci\u00f3n del disco. Esto se utiliza para calcular el tama\u00f1o de basura por segmento de registro que activa las compactaciones cuando la fragmentaci\u00f3n alcanza un umbral de 50%.<\/span><\/p>\n

Un aspecto clave de la arquitectura Magma es el almac\u00e9n de objetos con estructura de registro, que almacena documentos en un registro segmentado de s\u00f3lo ap\u00e9ndice. El almac\u00e9n con estructura de registro mantiene un \u00edndice que permite consultar un documento por n\u00famero de secuencia. El almac\u00e9n de objetos contiene archivos de segmentos de registro que se organizan secuencialmente utilizando un registro creciente con una cola para aceptar escrituras entrantes (v\u00e9ase el diagrama de arquitectura del almac\u00e9n de objetos Magma m\u00e1s abajo). El subproceso en segundo plano a\u00f1ade las mutaciones de documentos al registro de cola y cada documento recibe un \u00fanico segno.\u00a0<\/span><\/p>\n

\"Magma

Arquitectura del almac\u00e9n de objetos Magma<\/em><\/p><\/div>\n

 <\/p>\n

Aunque el registro puede contener varias versiones inmutables del documento con la misma clave, las versiones m\u00e1s antiguas se vuelven obsoletas cuando se a\u00f1aden nuevas versiones. Las operaciones de lectura siempre leen la \u00faltima versi\u00f3n, por lo que cuando se realiza una b\u00fasqueda de claves se devuelve la \u00faltima versi\u00f3n del documento. Con el tiempo, los registros obsoletos se eliminan del almacenamiento y se utiliza un proceso de recogida de basura independiente para recuperar espacio.<\/span><\/p>\n

Resumen de resultados<\/span><\/h2>\n

Magma se someti\u00f3 a pruebas de rendimiento contra RocksDB y Couchstore. La evaluaci\u00f3n se centr\u00f3 en el rendimiento y la amplificaci\u00f3n de escritura y espacio para varias cargas de trabajo de Yahoo! Cloud Serving Benchmark (YCSB) con datos demasiado grandes para caber en la memoria. Durante dos rondas de pruebas las conclusiones fueron:<\/span><\/p>\n

Ronda 1<\/span><\/p>\n