Presentación del conector de Couchbase totalmente administrado para Confluent Cloud

La creación de aplicaciones en tiempo real a menudo requiere conectar bases de datos operativas como Couchbase con plataformas de transmisión de datos como Confluent. Pero administrar estas integraciones puede ser complejo, ya que requiere que los equipos implementen conectores, configuren redes, administren esquemas y monitoreen el rendimiento. Estos desafíos ralentizan el desarrollo y aumentan la carga operativa.

Nos emociona anunciar el conector de Couchbase totalmente administrado para Confluent Cloud, ya disponible en ambos Fregadero y Fuente configuraciones. Este lanzamiento elimina la necesidad de administrar la infraestructura de conectores, lo que permite un movimiento de datos bidireccional y sin problemas entre Confluent Cloud y Couchbase. Es un paso significativo hacia adelante para reducir la complejidad and acelerar el tiempo de valor para los desarrolladores y los equipos de plataforma que crean aplicaciones en tiempo real y basadas en eventos.

Por qué importan los conectores totalmente administrados

Administrar sus propios conectores de Apache Kafka® puede ser complejo y llevar mucho tiempo. Requiere mucho más que descargar un complemento y apuntarlo a un tópico. Los usuarios deben:

• Implementar y escalar clústeres de Kafka Connect.
• Monitoree el rendimiento, los errores y los reintentos.
• Garantizar la compatibilidad del esquema mediante Schema Registry.
• Mantenga una autenticación y redes seguras.
• Escalar la infraestructura para satisfacer condiciones de carga variable.

Todo esto suma una carga operativa que distrae de los objetivos comerciales principales. Los conectores totalmente administrados en Confluent Cloud eliminan estos desafíos. Simplemente configúrelos a través de la interfaz de usuario o la API, y Confluent se encarga del resto, incluida la implementación, el escalado, el manejo de errores y la gestión del ciclo de vida, lo que le permite concentrarse en crear aplicaciones en tiempo real.

Casos de uso

Ahora que el movimiento de datos en tiempo real se ha simplificado, los desarrolladores pueden desbloquear casos de uso potentes como:

• MinoristaTransmita secuencias de clics o actualizaciones de inventario en Couchbase para potenciar el enriquecimiento de perfiles de usuario para la personalización en tiempo real.
• IoTIngestar datos de borde en Couchbase para análisis en tiempo real y creación de tableros.
• FinanzasPersistir los eventos de Kafka de los sistemas de detección de fraude o transacciones en Couchbase para búsquedas instantáneas y alertas.
• IAAl combinar la transmisión de datos en tiempo real de Confluent con el almacenamiento de vectores de Couchbase, las organizaciones pueden integrar y poner en operación datos de manera fluida para impulsar aplicaciones inteligentes de agentes y RAG en tiempo real.

Conector de destino Couchbase

El Conector de destino Couchbase le permite transmitir datos desde temas de Kafka directamente a sus colecciones de Couchbase. Es compatible con una amplia variedad de formatos de datos, incluidos AVRO, JSON, JSON Schema, PROTOBUF y BYTES, ya sea que ejecute una arquitectura de microservicios sin esquema o tenga una canalización de esquemas fuertemente tipificada.

Características principales

• Semántica de entrega al menos una vezGarantiza la confiabilidad incluso durante fallas transitorias
• Asignación granular de temas a colecciones: Enrutar temas de Kafka a colecciones específicas de Couchbase usando couchbase.topic.to.collection
• Lógica de ID de documento personalizado: Anular cómo se generan las claves de los documentos mediante couchbase.topic.to.document.id
• Manejadores flexiblesPersonalice cómo se transforman los registros utilizando controladores de destino integrados o personalizados
• Autenticación segura: Se conecta de forma segura con autenticación basada en contraseña

Configuración paso a paso: Conector de destino de Couchbase

Prerrequisitos

Antes de configurar el conector de destino de Couchbase en Confluent Cloud, asegúrese de que se cumplan los siguientes requisitos previos:

• Confluent Cloud: Un clúster de Kafka en ejecución en Confluent Cloud (en AWS, Azure o GCP). ¿Aún no eres cliente de Confluent? Comienza tu prueba gratuita de Confluent Cloud Hoy: los nuevos usuarios reciben $400 para gastar durante sus primeros 30 días.
• Base de datos CouchbaseUn clúster de Couchbase Server o Capella accesible desde Confluent Cloud.
• Creación de redes:
  • Los clústeres de Kafka y Couchbase deben residir en la misma región de la nube para obtener el menor costo y la mejor latencia.
  • Asegure la conectividad de red mediante IP pública, emparejamiento de VPC (VPC Peering) o puntos de enlace privados como AWS PrivateLink.
• Credenciales de autenticación:
  • Nombre de usuario y contraseña de Couchbase con acceso de escritura al bucket y la colección de destino.
  • Cuenta de servicio de Kafka o clave/secreto de API para el conector.
• Registro de esquemas (si se usan formatos con tipos):
  • Habilite Schema Registry para formatos de mensajes AVRO, JSON Schema o PROTOBUF.
• Tópicos de Kafka:
  • Al menos un tema de Kafka existente para transmitir, o crear uno nuevo durante la configuración.

Configurar en la consola de Confluent Cloud

Paso 1: Iniciar un clúster de Kafka en Confluent Cloud
Cree un clúster de Kafka en el proveedor de nube y la región que se alineen con su implementación de Couchbase.

Paso 2: Vaya a la pestaña Conectores
Vaya a la Consola de Confluent Cloud y haga clic en Conectores Haga clic en la pestaña + Agregar conector.

Paso 3: Seleccione el conector de destino de Couchbase
Buscar y seleccionar Receptor de Couchbase tarjeta de conector del catálogo.

Paso 4: Configurar la configuración del conector

Se le pedirá que ingrese lo siguiente:

• Tópicos de Kafka consumir de
• Detalles de la conexión de Couchbase:
  • Nombre de host o cadena de conexión
  • Nombres de *bucket*, *scope* y *collection*
  • Nombre de usuario y contraseña para autenticación
• Formato de datos de entrada (AVRO, JSON, etc.)
• Configuración de Schema Registry (si aplica)
• Parámetros de comportamiento del sumidero, tales como:
  • couchbase.topic.to.collection
  • couchbase.topic.to.document.id
  • couchbase.sink.handler
• Semántica de entrega y manejo de errores Opciones
• DimensionamientoSeleccione opciones de capacidad o autoescalado

Paso 5: Revisar y lanzar el conector

Después de revisar todas las configuraciones, haga clic Lanzamiento. El conector se implementará y comenzará a ingerir registros de Kafka a Couchbase.

Paso 6: Verificar la ingesta de datos

Una vez que el conector esté en ejecución, verifique que los datos estén llegando a sus colecciones de Couchbase como se espera. Utilice la interfaz de usuario de Couchbase o las herramientas de consulta para inspeccionar los documentos ingeridos.

Conector de origen de Couchbase

Además de escribir en Couchbase, el Conector de origen de Couchbase permitirá a los usuarios ingerir datos de Couchbase en Kafka, lo que habilitará potentes arquitecturas basadas en eventos y canalizaciones de IA/ML impulsadas por datos operativos.

Características principales

• Soporte para Captura de Datos Modificados (CDC)Aprovecha el Protocolo de Cambio de Base de Datos (DCP) de Couchbase para transmitir inserciones, actualizaciones y eliminaciones desde las colecciones de Couchbase hacia Kafka.
• Mapeo de colección individual a tópicoMapea automáticamente las colecciones de Couchbase a tópicos de Kafka usando couchbase.collection.to.topic.
• Estrategias de lectura flexible: Es compatible con la transmisión en tiempo real de todo el bucket, lecturas incrementales basadas en marcas de tiempo y transmisión en tiempo real mediante DCP.
• Serialización con reconocimiento de esquemas: Es compatible con los formatos AVRO, JSON, PROTOBUF y JSON Schema, con integración opcional con Confluent Schema Registry.
• Filtrado y proyección personalizadosPermite configurar filtros para incluir o excluir documentos según atributos, tipos o lógica personalizada.
• Rastreo de desplazamiento duraderoRegistra el progreso de lectura por documento y colección, garantizando la continuidad y minimizando el reprocesamiento en los reinicios.
• Autenticación seguraUtiliza autenticación basada en contraseña con soporte para conexiones TLS a Couchbase.
• Tópicos de Kafka autogeneradosCrea dinámicamente temas de Kafka basados en los mapeos de colecciones si no están predefinidos.

Configuración paso a paso: Conector de origen de Couchbase

Prerrequisitos

• Clúster de Confluent Cloud con espacios disponibles para conectores de origen
• Un clúster de Couchbase con DCP habilitado (Edición Enterprise) o un despliegue de Couchbase Capella totalmente administrado
• Accesibilidad de red desde Confluent Cloud a Couchbase (mediante IP pública o PrivateLink)
• Temas de Kafka precreados o definidos dinámicamente mediante mapeo de temas
• Registro de esquemas habilitado para formatos de mensajes con tipos

Configurar en la consola de Confluent Cloud

Paso 1: Inicie su clúster de Confluent
Asegúrese de que su clúster de Confluent Cloud esté en ejecución y en la misma región que Couchbase

Paso 2: Vaya a la página de Conectores
Hacer clic + Agregar conector desde la interfaz de usuario de Confluent Cloud

Paso 3: Seleccionar el conector de origen de Couchbase
Elija Origen de Couchbase conector

Paso 4: Configurar los parámetros de conexión

• Host y puerto de Couchbase
• Configuración de bucket, scope y collection
• Modo de sondeo: escaneo completo, incremental con marca de tiempo o CDC basado en DCP
• Opciones de filtrado de documentos
• Formato de datos: JSON, AVRO, PROTOBUF
• Estrategia de nombres de tópicos de Kafka (p. ej., couchbase.collection.to.topic)

Paso 5: Autenticación y seguridad

• Ingrese las credenciales para acceder a Couchbase
• Configure cualquier configuración de cifrado o TLS requerida
• Configurar la conectividad de red (interemparejamiento de VPC, PrivateLink o IP pública)

Paso 6: Lanzar y monitorear

Después de la revisión, implemente el conector. Monitoree el flujo de registros hacia los temas de Kafka utilizando las herramientas de monitoreo o los visores de temas de Confluent Cloud.

Una vez activo, el conector transmitirá eventos desde su base de datos de Couchbase. La infraestructura se administra, escala y depura por usted.

Asegúrese de que su servicio de Couchbase y su clúster de Kafka estén en la misma región de la nube para obtener un costo y rendimiento óptimos. Para un rendimiento aún mejor y un costo menor, considere configurar puntos de enlace privados (Private Endpoints) o emparejamiento de VPC (VPC peering) según sea necesario.

Mira nuestro tutorial video para aprender a configurar el Conector de Couchbase totalmente administrado para Confluent Cloud. Verá cómo conectar temas de Kafka, configurar los parámetros de Couchbase y comenzar a transmitir datos en unos pocos clics.

Pruébalo hoy

Con el conector de Couchbase totalmente administrado ya disponible en Confluent Cloud, puede crear rápidamente aplicaciones modernas impulsadas por eventos con una configuración mínima y la máxima eficiencia operativa.

¿Listo para comenzar?

• Iniciar sesión en Confluent Cloud o inicia tu prueba gratuita de Confluent Cloud
• Lanzar el Receptor de Couchbase o Conector de origen en solo unos minutos
• Siga las guías para la configuración:
  • Conector de destino Couchbase
  • Conector de origen de Couchbase