Kafka Connect de MySQL a Couchbase con Debezium

Empecé sin saber mucho acerca de Kafka, pero fui capaz de armar una prueba de concepto de trabajo mediante el uso de:

Instalar Couchbase con Docker:

docker run -d --name db -p 8091-8094:8091-8094 -p 11210:11210 couchbase

También tendrá que configurar ese clúster Couchbase como de costumbre. He creado un cubo llamado "staging".

En la mayoría de los casos, sólo tendrá que seguir las instrucciones de Tutorial Debezium. Asegúrese de leer todos los detalles, pero la versión resumida es seguir estos pasos:

Ejecutar una imagen Zookeeper (esto es necesario para Kafka):

docker run -it --rm --name zookeeper -p 2181:2181 -p 2888:2888 -p 3888:3888 debezium/zookeeper:0.9

Ejecuta una imagen de Kafka (vinculada a Zookeeper):

docker run -it --rm --name kafka -p 9092:9092 --link zookeeper:zookeeper debezium/kafka:0.9

Inicie una base de datos MySQL (Debezium suministra una imagen Docker que ya contiene algunos datos de ejemplo):

docker run -it --rm --name mysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD=debezium -e MYSQL_USER=mysqluser -e MYSQL_PASSWORD=mysqlpw debezium/example-mysql:0.9

Después de esto, puede conectarse a la base de datos MySQL utilizando las credenciales anteriores. El tutorial Debezium proporciona otra imagen Docker para hacer eso, o puede utilizar la herramienta MySQL de su elección. No necesitas hacer esto ahora, pero eventualmente querrás conectarte a ella e insertar/actualizar datos para probar el proceso de principio a fin.

En este punto de mi viaje, debo desviarme ligeramente del tutorial de Debezium. Ese tutorial muestra cómo iniciar un Conector MySQL de Debezium (con otra imagen Docker y una petición REST). Sin embargo, quiero introducir el Conector Couchbase Kafka.

La forma más sencilla de hacerlo es crear una imagen Docker personalizada. Esta usará la imagen Debezium Kafka connect como base, y simplemente le añadirá el archivo JAR Couchbase Kafka Connect. Para ello, crea un archivo de texto llamado Dockerfile:

Una vez hecho esto, construye la imagen: docker build . --tag couchbasedebezium. Llamé a la imagen couchbasedebeziumpero puedes llamarlo como quieras. Cuando termine, ejecute imágenes dockery couchbasedebezium debería aparecer en su repositorio local:

Para iniciar Kafka Connect:

docker run -it --rm --name connect -p 8083:8083 -e GROUP_ID=1 -e CONFIG_STORAGE_TOPIC=my_connect_configs -e OFFSET_STORAGE_TOPIC=my_connect_offsets -e STATUS_STORAGE_TOPIC=my_connect_statuses --link zookeeper:zookeeper --link kafka:kafka --link mysql:mysql --link db:db couchbasedebezium

Esto iniciará una imagen Docker que usaremos para conectar Kafka tanto a MySQL como a Couchbase. Fíjate que estoy usando el couchbasedebezium y también estoy usando -enlace db:dbpero por lo demás es idéntico al tutorial de Debezium.

Hay dos pasos más:

Hay muchas formas de hacerlo, pero yo decidí utilizar la API REST de Kafka.

Ahora, los datos deberían estar fluyendo hacia tu bucket de Couchbase. Conéctate a Couchbase, y verás 4 documentos en el bucket de staging (esto corresponde a las 4 filas de datos en la base de datos MySQL de ejemplo). Añade o actualiza los datos en la base de datos MySQL y más registros comenzarán a rodar en el cubo Couchbase automáticamente.

Pasé por todo este proceso en mi Código en directo en Twitch. Si quieres ver todo el proceso en acción, he preparado un vídeo que muestra todos los pasos:

[youtube https://www.youtube.com/watch?v=HCAY7EMm3pg&w=560&h=315]

Ahora que has completado este tutorial, hay otras direcciones en las que puedes seguir explorando.

Si tiene alguna pregunta, puede ponerse en contacto conmigo en Twitter @mgrovesdeja un comentario a continuación, o sintoniza mi próximo Código en directo.

Si tiene alguna pregunta técnica sobre Couchbase o el conector Couchbase Kafka, no deje de consultar la página Foros de Couchbase.