Creación de aplicaciones Couchbase reactivas con Flink

El conector de Couchbase para Flink se ha actualizado a la versión 0.5.0.

Apache Flink es un marco de trabajo y un motor de procesamiento distribuido para cálculos con estado sobre flujos de datos ilimitados y limitados. Flink está diseñado para ejecutarse en todos los entornos de clúster habituales y realizar cálculos a la velocidad de la memoria y a cualquier escala. 

Gracias a nuestro conector de Couchbase, recientemente actualizado, los proyectos de Flink pueden utilizar clústeres de Couchbase no solo para almacenar y recuperar datos, sino también para suscribirse y reaccionar ante los cambios en los datos a medida que se aplican en el clúster. Esta función se implementa mediante la lectura directa del flujo del Protocolo de Cambio de Datos (Data Change Protocol) desde un clúster de Couchbase. 

En esta versión del conector Flink se han introducido varios cambios notables:

• El conector ya es compatible con Flink 2.1.1
• El SDK de Java de Couchbase se ha actualizado a la última versión
• La dependencia de la biblioteca DCP se ha actualizado a la última versión

Además de incorporar compatibilidad con Flink 2.1.1, esta nueva versión actualiza las dependencias de Couchbase y elimina las API que ya estaban obsoletas.

El conector se puede instalar desde un repositorio de Maven:

O bien, se puede compilar a partir del código fuente que se encuentra en el siguiente repositorio de GitHub: https://github.com/couchbaselabs/flink-connector-couchbase. 

El conector proporciona clases de Flink como:

• CouchbaseDCPSource – se suscribe al flujo DCP de Couchbase para el procesamiento de mutaciones en tiempo real 
• CouchbaseQuerySource  – Ejecuta consultas SQL++ y transmite los resultados a Flink
• CouchbaseCollectionSink – Almacena documentos en colecciones de Couchbase.

En el ejemplos carpeta en el repositorio: https://github.com/couchbaselabs/flink-connector-couchbase/tree/master/examples

La biblioteca de conectores se encuentra actualmente en fase experimental y en etapa alfa. Agradecemos los comentarios y las contribuciones de la comunidad. Si tienes algún problema al usar el conector, o si deseas compartir tus comentarios, abre un ticket en GitHub en el repositorio del proyecto: https://github.com/couchbaselabs/flink-connector-couchbase/issues