Introducing the Fully Managed Couchbase Connector for Confluent Cloud

La creación de aplicaciones en tiempo real suele requerir la conexión de bases de datos operativas como Couchbase con plataformas de flujo de datos como Confluente. Pero la gestión de estas integraciones puede resultar compleja, ya que exige que los equipos desplieguen conectores, configuren redes, gestionen esquemas y supervisen el rendimiento. Estos retos ralentizan el desarrollo y aumentan la sobrecarga operativa.

Nos complace anunciar el conector Couchbase totalmente gestionado para Confluent Cloud, ahora disponible tanto en Fregadero y Fuente configuraciones. Este lanzamiento elimina la necesidad de gestionar la infraestructura del conector, permitiendo un movimiento de datos bidireccional y sin fisuras entre Confluent Cloud y Couchbase. Se trata de un importante paso adelante en la reducción de la complejidad y la aceleración del tiempo de creación de valor para los desarrolladores y los equipos de plataforma que crean aplicaciones en tiempo real basadas en eventos.

Por qué son importantes los conectores totalmente gestionados

Gestionar sus propios conectores de Apache Kafka® puede ser complejo y llevar mucho tiempo. Requiere mucho más que descargar un plugin y apuntarlo a un tema. Los usuarios deben:

- Despliegue y escalado de clusters de Kafka Connect.
- Supervise el rendimiento, los errores y los reintentos.
- Garantizar la compatibilidad de los esquemas mediante el Registro de Esquemas.
- Mantener la autenticación y la conexión en red seguras.
- Adaptar la infraestructura a condiciones de carga variables.

Todo esto se suma a una sobrecarga operativa que distrae de los objetivos empresariales principales. Los conectores totalmente gestionados en Confluent Cloud eliminan estos retos. Solo tienes que configurarlos a través de la interfaz de usuario o la API, y Confluent se encarga del resto, incluida la implementación, el escalado, la gestión de errores y la gestión del ciclo de vida, para que puedas centrarte en crear aplicaciones en tiempo real.

Casos prácticos

Con la simplificación del movimiento de datos en tiempo real, los desarrolladores pueden desbloquear potentes casos de uso como:

- Venta al por menor: Transmita a Couchbase el flujo de clics o las actualizaciones de inventario para potenciar el enriquecimiento del perfil de usuario para la personalización en tiempo real.
- IoT: Ingesta de datos de borde en Couchbase para análisis y cuadros de mando en tiempo real.
- Finanzas: Persista eventos Kafka de sistemas de detección de fraude o transacciones en Couchbase para búsquedas y alertas instantáneas.
- AI: Al combinar el flujo de datos en tiempo real de Confluent con el almacén vectorial de Couchbase, las organizaciones pueden ingerir y operacionalizar datos sin problemas para impulsar aplicaciones inteligentes, en tiempo real, agentic y RAG.

Conector Couchbase Sink

En Conector Couchbase Sink te permite transmitir datos desde temas de Kafka directamente a tus colecciones de Couchbase. Admite una amplia variedad de formatos de datos, incluidos AVRO, JSON, JSON Schema, PROTOBUF y BYTES, tanto si ejecutas una arquitectura de microservicios sin esquemas como si tienes una canalización de esquemas fuertemente tipada.

Características principales

- Al menos una entrega semántica: Garantiza la fiabilidad incluso en caso de fallos transitorios
- Asignación detallada de temas a colecciones: Enruta temas de Kafka a colecciones específicas de Couchbase usando couchbase.topic.to.collection
- Lógica de identificación de documentos personalizada: Anular cómo se generan las claves de documento a través de couchbase.topic.to.document.id
- Manipuladores flexibles: Personalice cómo se transforman los registros utilizando gestores de sumideros integrados o personalizados.
- Autenticación segura: Conexión segura con autenticación basada en contraseña

Configuración paso a paso: Conector Couchbase Sink

Requisitos previos

Antes de configurar Couchbase Sink Connector en Confluent Cloud, asegúrate de que se cumplen los siguientes requisitos previos:

- Nube Confluent: Un clúster de Kafka en funcionamiento en Confluent Cloud (en AWS, Azure o GCP). ¿Aún no eres cliente de Confluent? Empieza tu prueba gratuita de Confluent Cloud hoy: los nuevos registros recibirán $400 para gastar durante sus primeros 30 días.
- Base de datos Couchbase: Un clúster de Couchbase Server o Capella accesible desde Confluent Cloud.
- Red:
  - Los clústeres de Kafka y Couchbase deben residir en la misma región de nube para obtener el menor coste y la mejor latencia.
  - Garantice la conectividad de red mediante IP pública, VPC Peering o puntos finales privados como AWS PrivateLink.
- Credenciales de autenticación:
  - Nombre de usuario y contraseña de Couchbase con acceso de escritura al bucket y colección de destino.
  - Cuenta del servicio Kafka o clave/secreto API para el conector.
- Registro de esquemas (si se utilizan formatos tipados):
  - Habilite el registro de esquemas para los formatos de mensaje AVRO, JSON Schema o PROTOBUF.
- Temas Kafka:
  - Al menos un tema Kafka existente desde el que transmitir, o crear uno nuevo durante la configuración.

Configuración en Confluent Cloud Console

Paso 1: Lanzar un clúster de Confluent Cloud Kafka
Cree un clúster de Kafka en el proveedor de la nube y la región que se alinee con su implementación de Couchbase.

Paso 2: Vaya a la pestaña Conectores
Vaya a Confluent Cloud Console y haga clic en el botón Conectores ficha. Haga clic en + Añadir conector.

Paso 3: Seleccionar el conector Couchbase Sink
Busque y seleccione el Fregadero Couchbase tarjeta de conector del catálogo.

Paso 4: Configurar los ajustes del conector

Se te pedirá que introduzcas lo siguiente:

- Temas Kafka consumir de
- Detalles de la conexión a Couchbase:
  - Nombre de host o cadena de conexión
  - Nombres de cubos, ámbitos y colecciones
  - Nombre de usuario y contraseña para la autenticación
- Formato de los datos de entrada (AVRO, JSON, etc.)
- Configuración del Registro de Esquemas (si procede)
- Parámetros de comportamiento del sumiderocomo:
  - couchbase.topic.to.collection
  - couchbase.topic.to.document.id
  - couchbase.sink.handler
- Semántica de la entrega y tratamiento de errores opciones
- Dimensionamiento: Seleccione las opciones de capacidad o autoescalado

Paso 5: Revisar e iniciar el conector

Después de revisar todas las configuraciones, haga clic en Lanzamiento. El conector se desplegará y comenzará a ingerir registros de Kafka en Couchbase.

Paso 6: Verificar la ingestión de datos

Una vez que el conector esté funcionando, verifica que los datos están llegando a tus colecciones de Couchbase como se esperaba. Utiliza la interfaz de usuario de Couchbase o las herramientas de consulta para inspeccionar los documentos recibidos.

Conector de origen de Couchbase

Además de escribir en Couchbase, la aplicación Conector de origen de Couchbase permitirá a los usuarios ingerir datos de Couchbase en Kafka, posibilitando potentes arquitecturas basadas en eventos y canalizaciones de IA/ML alimentadas por datos operativos.