Talend presenta la compatibilidad de Couchbase Capella con Talend Big Data Platform 8.0

Muchas organizaciones que buscan modernizar sus bases de datos heredadas están evaluando ofertas de DBaaS alojadas y totalmente gestionadas que proporcionan flexibilidad, rendimiento y escala sin comprometer los puntos fuertes de confianza de las bases de datos relacionales (RDBMS). Con la introducción de Couchbase Capella DBaaSAhora, los clientes pueden beneficiarse de una relación calidad-precio excepcional para reducir su coste total de propiedad (TCO).

Sin embargo, garantizar que las herramientas y procesos de integración de datos establecidos puedan utilizarse para trasladar datos a Couchbase Capella puede ser una dependencia importante en la transición a servicios en la nube. Por eso nos complace presentar la compatibilidad de Couchbase 7.x en Talend Big Data Platform 8.0, que cubre tanto Couchbase Server como Capella.

Talend ofrece una amplia gama de funciones de gestión de datos, que van desde la gestión de procesos empresariales hasta la ETL y la gestión de datos maestros. La nueva versión Big Data Platform 8.0 de Talend contiene un conector Couchbase actualizado, que permite la modernización y migración de aplicaciones críticas para el negocio.

Creación de un flujo de trabajo ETL para Couchbase Capella

Este blog muestra cómo conectar Talend con Couchbase Capella y realizar un sencillo flujo de trabajo ETL. Plataforma Talend Big Data se utilizará para exportar datos relacionales de una base de datos MySQL a Couchbase utilizando el formato de documento JSON.

El flujo de trabajo leerá desde una tabla de base de datos MySQL y creará los correspondientes documentos JSON en Couchbase Server. Puedes construir sobre este ejemplo y aumentarlo para soportar escenarios más complejos que involucren transformaciones de datos, mapeos complejos, etc.

Los siguientes pasos se han probado en macOS, pero pueden adaptarse a otros sistemas.

Couchbase Capella ofrece una prueba gratuita de 30 días y te permite crear tu primer clúster en pocos clics y en cuestión de minutos. Puede inicie su prueba con un solo clic.

Sólo tienes que introducir tu nombre, correo electrónicoy nombre de la organización. Una vez verificado su correo electrónico, puede comenzar la prueba. Sólo tiene que seleccionar su Región AWS y haga clic en "Iniciar prueba".

La prueba creará un clúster Couchbase de un solo nodo en AWS. Una vez creado el clúster, debemos configurar un bucket de datos para este ejemplo.

Vaya a Agrupaciones > Trial-Cluster > Cubos > Crear cubo. Daremos un nombre al cubo mundo.

Haga clic en Siguiente para continuar, acepte los valores predeterminados y haga clic en Crear cubo. Además, cree el viaje-muestra cubo navegando hasta Herramientas > Importar y desplácese hasta Muestra de viajes y seleccione Importar.

Ahora tendremos que configurar el acceso al clúster desde una estación de trabajo remota.

Vaya a Agrupaciones > Trial-Cluster > Conectar y desplácese hasta Acceso a bases de datos > Gestionar credencialesentonces +Crear credencial de base de datos.

Asegúrese de utilizar el menú desplegable bajo Acceso al nivel del cubo e introduzca mundo, Todos los ámbitos, y Lectura/Escritura para la configuración y, a continuación, haga clic en Cree. Repita la operación para el viaje-muestra cubo.

Permitir el acceso IP local a Capella

A continuación, debemos configurar el acceso a su estación de trabajo local, ya que ejecutaremos Talend Studio localmente. Vaya a Conectar > Gestionar IP permitidas. A partir de ahí, puede hacer clic en + Añadir mi IP.

La configuración de Couchbase Capella está completa por ahora.

Instalar la base de datos de ejemplo MySQL

A continuación, tenemos que instalar y / o configurar el servidor MySQL que también se ejecuta en la estación de trabajo local. Estoy usando macOS y Elaboración casera para instalar paquetes adicionales.

Para instalar MySQL a través de Homebrew, abra un terminal y escriba: brew install mysql . 

Descargue e importe el mundo base de datos:

• Descargar mundo.sql
• Inicie el servidor MySQL, si no lo está ya, y conéctese al servidor:
  sudo mysql -u root -p
  
• Cree mundo base de datos:
  CREAR BASE DE DATOS world;
• Cargar contenido desde mundo base de datos:
  USE world;
  FUENTE world.sql;
• Compruebe que la base de datos mundial se ha importado correctamente:
  MOSTRAR TABLAS;
• La salida debería mostrar tres tablas: Ciudad, País y PaísIdioma

Ahora es el momento de instalar Estudio Talend. Puede descargar Talend Studio 8.0.1 desde Talend Cloud. Navegue hasta su usuario y seleccione Descargas:

Seleccione Talend Studio y su plataforma en el desplegable y la versión 8.0.1.

Nota: Talend recomienda Java 11. Para este ejercicio, estoy usando OpenJDK-11 instalado a través de Homebrew con:

% brew install openjdk@11

Acepte el acuerdo de licencia una vez instalado Talend Studio y proporcione un archivo de licencia o una conexión a su Talend Cloud.

Instalar el conector Couchbase para Talend Studio

Tras iniciar Talend Studio, deberá instalar el conector Couchbase para continuar. Navegue por Ayuda a la Gestor de funciones y busque Couchbase.

Tras iniciar Talend Studio, vaya a Diseños de trabajo > Estándar y haga clic con el botón derecho en Nuevo empleointroduzca el nombre MySQLToCouchbaseIntegration y haga clic en Acabado.

Esto creará un panel donde los artefactos de trabajo pueden ser arrastrados y soltados y debe mostrar la paleta a la derecha. En la paleta, arrastre y suelte el icono tMyslInput a la izquierda. Encuentre el widget en Bases de datos/MySQL.

En la paleta, arrastre y suelte tCouchbaseOutput (se encuentra en Bases de datos NoSQL/Couchbase) a la derecha.

Haga doble clic en tMysqlInput en el panel; esto mostrará el Componente en la parte inferior.

Introduzca la información de conexión a la base de datos MySQL.

• Haga clic en el botón ... situado a la derecha de Nombre de la tablaAmpliar mundo y seleccione el Ciudad y haga clic en el botón OK botón.
• Elimina la consulta por defecto y sustitúyela por:
  SELECT * FROM Ciudad

A continuación se muestra una captura de pantalla de ejemplo del aspecto que debería tener:

Configurar el esquema de destino

Haga clic en el botón Adivinar esquema . Aparecerá la ventana Esquema mueva y cambie el tamaño de la ventana según convenga.

Edite el esquema con los siguientes cambios:

• • Comprobar Nullable para ID
  • Comprobar Nullable para Población
  • Cambia ID a String

Establezca los siguientes tipos de BD y haga clic en OK:

• • INT para ID
  • VARCHAR para campos Nombre, CódigoPaís, y Distrito
  • INT para Población

Esta captura de pantalla muestra todos estos ajustes del esquema:

Haga clic con el botón izquierdo del ratón en tMysqlInput y, a continuación, haga clic con el botón derecho para seleccionar Fila/Principal y arrastre una flecha desde el tMysqlInput componente a tCouchbaseOutput. Se debe crear una flecha entre los dos.

Ahora navegaremos de vuelta a la consola de Couchbase Capella para obtener nuestro endpoint de conexión. Navega a Agrupaciones > Grupo de ensayos > Conexiones y copiar el Red de área extensa dirección del punto final:

Haga clic con el botón izquierdo del ratón en tCouchbaseOutput en el panel; esto mostrará el Componente en la parte inferior.

Introduzca la información de conexión a la base de datos Couchbase en el panel. Tenga en cuenta que todos los campos deben ir entre comillas dobles (es decir, "..."):

• • En Nodos Bootstrap es el valor recogido en el paso anterior precedido de couchbases://
  • Proporcione las credenciales creadas previamente en la consola de Capella para el acceso.
  • Establezca el nombre del cubo en mundo.
  • Deje el Tipo de documento por defecto como JSON.
  • Deje el campo a utilizar como ID como "ID".

Haga clic en el botón Ejecutar para crear el trabajo y ejecutarlo. Puede ver los progresos en el Empleo ventana.

Una vez completado, el trabajo habrá añadido 4079 documentos al archivo mundo cubo:

Puede acceder a su consola Capella directamente o a través del plano de control web para verificar que se han cargado en el cubo mundial.

En Documentos muestra lo que está cargado ahora:

Configuración del componente Talend para la entrada Couchbase

A continuación, utilizaremos Couchbase como entrada y ejecutaremos una consulta N1QL. Esto te permitirá interactuar con los Scopes y Collections de Couchbase.

Vaya a Diseños de trabajo > Estándar y haga clic con el botón derecho en Nuevo empleo - introduzca el nombre CouchbaseInput y haga clic en Acabado.

En la paleta, arrastre y suelte el icono tCouchbaseInput a la izquierda. Encuentre el widget en Bases de datos NoSQL/Couchbase.

En la paleta, arrastre y suelte el icono tLogRow (que se encuentra en Registros y errores) a la derecha.

Haga doble clic en tCouchbaseInput en el panel; esto mostrará el Componente en la parte inferior. Introduzca la información de conexión a la base de datos Couchbase. Desde el Tipo de consulta seleccione N1QL e introduce la consulta de la siguiente manera:

A continuación se muestra una captura de pantalla de ejemplo de cómo debería verse:

Haga clic con el botón izquierdo del ratón en tLogRow en el panel; esto mostrará el Componente en la parte inferior.

Cambiar el separador de campos de “|” a “” y seleccione Imprimir cabecera.

Conecta los dos componentes.

Ejecute la tarea. Si tiene éxito, debería devolver el valor Reino Unido.

Continuar el aprendizaje de Talend y Couchbase

He aquí algunos recursos adicionales que le ayudarán a profundizar:

• • Más información Talend Data Fabric.
  • Acceder a la Conector Talend Couchbase.
  • Empieza con Couchbase Capella.
  • Si tiene alguna pregunta, póngase en contacto con nosotros en partners@couchbase.com.