CSV (Comma-seperated values) es un formato de archivo que se puede exportar desde una base de datos relacional (como Oracle o SQL Server). Puede ser importado a Couchbase Server con el comando cbimport utilidad.
Nota: cbimport viene con Couchbase Enterprise Edition. Para Couchbase Community Edition, puede utilizar la versión más limitada cbtransfer o utilice cbdocloader si JSON es una opción.
Un ETL relacional→CSV→Couchbase directo probablemente no va a ser la solución completa para la migración de datos. En un post posterior, escribiré sobre las decisiones de modelado de datos que tendrás que considerar. Pero es un punto de partida: considera estos datos como "por etapas".
Nota: para este post, estoy usando SQL Server y un cluster de Couchbase Server, ambos instalados localmente. Los pasos serán similares para SQL Server, Oracle, MySQL, PostgreSQL, etc.
Exportar a CSV
Lo primero que hay que hacer es exportar a CSV. Tengo una base de datos relacional con dos tablas: Facturas e InvoiceItems.
Voy a exportar los datos de estas dos tablas a dos archivos CSV. Con SQL Server Management Studio, esto se puede hacer de diferentes maneras. Puede utilizar sqlcmd o bcp en la línea de comandos. O puede utilizar el comando de Powershell Invocar-Sqlcmd y canalizarlo a través de Exportar-Csv. También puede utilizar la interfaz de usuario de SQL Server Management Studio.
Otras bases de datos relacionales dispondrán de utilidades de línea de comandos, herramientas de interfaz de usuario, etc. para exportar CSV.
A continuación se muestra un ejemplo de exportación a CSV de una tabla denominada "Facturas":
|
1 2 3 4 |
Id,NúmeroFactura,FechaFactura,BillTo,ShipTo 1,ABC123,2018-01-15 00:00:00.000,Lynn Hess,"Herman Trisler, 4189 Oak Drive" 2,XYZ987,2017-06-23 00:00:00.000,Yvonne Pollak,"Clarence Burton, 1470 Cost Avenue" 3,FOO777,2018-01-02 00:00:00.000,Phillip Freeman,"Ronda Snell, 4685 Valley Lane" |
A continuación se muestra una exportación de una tabla relacionada denominada "InvoiceItems":
|
1 2 3 4 5 6 7 8 9 10 11 |
InvoiceId,Producto,Cantidad,Precio 1,Neumático,2,20.00 1,Dirección Rueda,5,10.00 1,Motor Aceite,10,15.00 1,Freno Tampón,24,1000.00 2,Ratón almohadilla,1,3.99 2,Ratón,1,14.99 2,Ordenador monitor,1,199.98 3,Cupcake,12,.99 3,Cumpleaños velas,1,.99 3,Entrega,1,30.00 |
Cargar CSV en Couchbase
Vamos a importarlos a un bucket de Couchbase. Asumiré que ya has creado un bucket vacío llamado "staging".
En primer lugar, vamos a importar invoices.csv.
Carga de facturas
|
1 |
C:\Programa Archivos\Couchbase\Servidor\papelera\cbimport csv -c localhost -u Administrador -p contraseña -b puesta en escena -d archivo://facturas.csv --generar-clave factura::%Id% |
Nota: con Linux/Mac, en lugar de C:Archivos de programaCouchbase\Server\binel camino será diferente.
Vamos a desglosarlo:
-
cbimport: Esta es la utilidad de línea de comandos que está utilizando
-
csv: Estamos importando desde un archivo CSV. También puede importar desde archivos JSON.
-
-c localhost: La ubicación de su clúster de Couchbase Server.
-
-u Administrador -p contraseña: Credenciales para su cluster. Esperamos que sus credenciales sean más seguras que las de este ejemplo.
-
-b puesta en escena: El nombre del bucket de Couchbase en el que quieres que terminen los datos
-
-generar-clave-factura::%Id% La plantilla que se utilizará para crear claves únicas en Couchbase. Cada línea del CSV corresponderá a un único documento. Cada documento necesita una clave única. Decidí usar la clave primaria (entero) con un prefijo indicando que es un documento de factura.
El resultado final de importar un archivo de 3 líneas son 3 documentos:
En este punto, el cubo de puesta en escena sólo contiene documentos de factura, por lo que es posible que desee realizar transformaciones ahora. Puede que lo haga en ejemplos de modelado posteriores, pero por ahora pasemos al siguiente archivo.
Carga de partidas de factura
|
1 |
C:\Programa Archivos\Couchbase\Servidor\papelera\cbimport csv -c localhost -u Administrador -p contraseña -b puesta en escena -d archivo://invoice_items.csv --generate-key invoiceitem::#UUID# |
Esto es casi idéntico a la última importación. Una diferencia es que se trata de un nuevo fichero (invoice_items.csv). Pero la diferencia más importante es -generar-clave. Estos registros sólo contienen claves externas, pero cada documento en Couchbase debe tener una clave única. En última instancia, podemos decidir incrustar estos registros en sus documentos de factura padre. Pero por ahora he decidido utilizar UUID para generar claves únicas para los registros.
El resultado final de importar este archivo de 10 líneas son 10 documentos más:
¿Y ahora qué?
Una vez que tienes un archivo CSV, es muy fácil introducir datos en Couchbase. Sin embargo, este tipo de traducción directa a menudo no va a ser suficiente por sí sola. He explorado algunos aspectos del modelado de datos en un entrada anterior sobre la migración desde SQL Serverpero pronto volveré sobre este ejemplo de Facturas en una entrada de actualización del blog.
Mientras tanto, no deje de visitar Cómo Couchbase supera a Oracle para obtener más información sobre por qué las empresas están sustituyendo a Oracle para determinados casos de uso. Y también eche un vistazo al Pasar de Relational a NoSQL: Cómo empezar libro blanco.
Si tiene alguna pregunta o comentario, no dude en dejarlos aquí, póngase en contacto conmigo en Twitter @mgroveso formule su pregunta en el Foros de Couchbase.
