Al final de este tutorial, tendr\u00e1s una soluci\u00f3n robusta, de extremo a extremo, que reacciona a las mutaciones de documentos o vencimientos basados en TTL en Couchbase y los archiva de manera eficiente en S3-sin ninguna intervenci\u00f3n manual.<\/p>\n
Arquitectura general<\/h2>\n
Este es el aspecto de la arquitectura:<\/p>\n
![\"Architecture\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/arch.jpg\")
<\/center> <\/p>\nFlujo:<\/strong><\/p>\n Esta configuraci\u00f3n est\u00e1 desacoplada, es escalable y no requiere ning\u00fan sondeo.<\/p>\n Eventos de Couchbase<\/strong> proporciona una forma nativa de activar la l\u00f3gica de negocio en respuesta a las mutaciones de documentos (creaciones, actualizaciones, eliminaciones) o expiraciones.<\/p>\n Con Eventing, podemos:<\/p>\n Este es un ejemplo simplificado de la funci\u00f3n Couchbase Eventing que usamos para archivar documentos. La funci\u00f3n implementa l\u00f3gica para manejar dos escenarios principales:<\/p>\n En ambos casos, el documento se env\u00eda a una pasarela de API externa para su archivo. Si el estado de la respuesta de la API es Nota:<\/strong> Por razones de rendimiento, recomendamos comentar todos los caracteres As\u00ed es como definimos la configuraci\u00f3n y los enlaces, mientras cre\u00e1bamos la funci\u00f3n de eventos.<\/p>\n Hit Hit La funci\u00f3n Lambda consume el mensaje SNS y archiva el JSON completo en un bucket de S3, organizado por fecha.<\/p>\n Esto resulta en un objeto S3 como:<\/p>\n SNS (Servicio simple de notificaci\u00f3n)<\/strong> permite que varios servicios reciban el mismo mensaje. Aqu\u00ed, pasa la solicitud de archivo a una funci\u00f3n Lambda.<\/p>\n Pasos:<\/strong><\/p>\n Aseg\u00farese de que se permite a API Gateway publicar en el tema SNS mediante una pol\u00edtica de confianza y acceso:<\/p>\n API Gateway act\u00faa como nuestro punto final p\u00fablico que recibe las solicitudes de archivo y las reenv\u00eda a SNS.<\/p>\n Pasos clave:<\/strong><\/p>\n Seleccione una de las siguientes opciones Dar un <\/p>\n En la pr\u00f3xima Hit Enhorabuena, acaba de desplegar un Pasarela API<\/strong> que puede enviar su documento JSON a la base de datos SNS Tema<\/strong>que, en \u00faltima instancia, desencadena el Lambda<\/strong> para escribirlo en S3<\/strong>.<\/p>\n Puede probar su canalizaci\u00f3n de dos maneras:<\/p>\n Cuando pulse el bot\u00f3n Tras la activaci\u00f3n, compruebe que se ha creado el objeto correspondiente en su bucket de S3.<\/p>\n Para probar la configuraci\u00f3n desde el Capella<\/strong>inserte un documento con un Valor TTL de 120 segundos<\/strong>.<\/p>\n Ejecute el comando SQL anterior desde el query workbench y espere a que aparezca el documento en el configurado Cubo S3<\/strong> aproximadamente 60 segundos antes de su expiraci\u00f3n<\/strong>ya que la funci\u00f3n Eventing establece un temporizador para activar un minuto antes del TTL<\/strong>.<\/p>\n He aqu\u00ed algunos problemas comunes y c\u00f3mo solucionarlos:<\/p>\n En esta entrada de blog, construimos una robusta canalizaci\u00f3n de archivo de documentos en tiempo real utilizando:<\/p>\n Esta arquitectura no requiere ning\u00fan servidor, se escala sin esfuerzo y es una forma rentable de descargar datos hist\u00f3ricos para su conservaci\u00f3n, cumplimiento o an\u00e1lisis.<\/p>\n Para ayudarle a profundizar y ampliar sus conocimientos sobre las tecnolog\u00edas utilizadas en esta canalizaci\u00f3n, he aqu\u00ed algunos recursos valiosos:<\/p>\n In modern data-driven applications, retaining historical documents is essential for compliance, auditing, and cost optimization. However, keeping all data indefinitely in your primary operational database is often unsustainable and expensive. In this blog post, I\u2019ll walk you through building a […]<\/p>","protected":false},"author":33279,"featured_media":17296,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"inline_featured_image":false,"footnotes":""},"categories":[1821,2225,1816],"tags":[],"ppma_author":[9090],"class_list":["post-17248","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-couchbase-architecture","category-cloud","category-couchbase-server"],"acf":[],"yoast_head":"\n\n
\n
archivo: true<\/code> bandera).<\/li>\n
\n\u00bfPor qu\u00e9 Couchbase Eventing para archivo?<\/h2>\n
\n
\n
archivo === true<\/code> y\/o tipo === registros<\/code>)<\/li>\nEscribiendo la funci\u00f3n Couchbase Eventing<\/h2>\n
\n
\n
caducidad<\/code> establecido, registramos un temporizador que se dispara 60 segundos antes del TTL. Una vez que el temporizador expira, el DocTimerCallback<\/code> que, a su vez, llama a la funci\u00f3n publicar(doc, meta)<\/code> para archivar el documento.<\/li>\narchivo: true<\/code>la funci\u00f3n llama inmediatamente a publicar(doc, meta)<\/code> para archivar el documento.<\/li>\n<\/ol>\n<\/li>\n<\/ol>\n200<\/code> o 302<\/code>el documento se elimina expl\u00edcitamente del bucket de origen, completando as\u00ed el flujo de trabajo de archivado. Esto proporciona un mecanismo flexible para archivar documentos bajo demanda o mediante la automatizaci\u00f3n basada en TTL.<\/p>\nfunction OnUpdate(doc, meta) {\r\n if (doc.archive && doc.archive === true){\r\n log('Archiving document with ID:', meta.id);\r\n var status = publish(doc, meta);\r\n if (status === true) {\r\n delete src[meta.id];\r\n } else {\r\n log('Publish failed, document will not be deleted:', meta.id);\r\n }\r\n } else if (meta.expiration > 0){\r\n var nMinsPrior = new Date((meta.expiration - 60) * 1000);\r\n var currentTime = new Date().getTime();\r\n log('Time difference (ms): ', currentTime - nMinsPrior);\r\n if (currentTime > nMinsPrior) {\r\n log('Within 1 minute of TTL expiry, archiving:', meta.id);\r\n var publishStatus = publish(doc, meta);\r\n } else {\r\n log('Timer set for future archiving:', meta.id);\r\n createTimer(DocTimerCallback, nMinsPrior, meta.id, meta.id);\r\n }\r\n } else {\r\n log('No archiving conditions met for:', meta.id);\r\n return;\r\n }\r\n}\r\n\r\nfunction DocTimerCallback(context) {\r\n var doc = src[context];\r\n if (doc) {\r\n var meta = { id: context };\r\n var publishStatus = publish(doc, meta);\r\n } else {\r\n log('Timer callback failed: document not found for:', context);\r\n }\r\n}\r\n\r\nfunction publish(doc, meta) {\r\n try {\r\n var request = {\r\n path: 'archive',\r\n headers: {\r\n 'Content-Type': 'application\/json'\r\n },\r\n body: { ...doc, id: meta.id }\r\n };\r\n log(\"Sending request:\", request);\r\n var response = curl('POST', archive2S3, request);\r\n if (response.status === 200 || response.status === 302) {\r\n log(\"Publish success for:\", meta.id, \" Response body:\", response.body);\r\n return true;\r\n } else {\r\n log(\"Publish failed with status:\", response.status, \" Request body:\", request);\r\n return false;\r\n }\r\n } catch (e) {\r\n log(\"Exception during publish:\", e);\r\n return false;\r\n }\r\n}\r\n<\/pre>\nlog()<\/code> que se muestran arriba. Estos registros se incluyeron principalmente con fines de depuraci\u00f3n y desarrollo. El exceso de registros en entornos de producci\u00f3n puede afectar al rendimiento y aumentar los costes de almacenamiento de registros.<\/p><\/blockquote>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/settings.png\")
<\/p>\nSiguiente<\/code> para crear enlaces. Aqu\u00ed es donde enlazaremos el endpoint de nuestra API Gateway, a un alias archivo2S3<\/code> y tambi\u00e9n utiliza el cubo de origen como alias src<\/code>. Tenga en cuenta que hemos utilizado el permiso de Lectura\/Escritura para nuestro cubo de origen, ya que queremos que los datos sean purgados de all\u00ed.<\/p>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/bindings-new.png\")
<\/p>\nSiguiente<\/code> de nuevo y copiar\/pegar la funci\u00f3n JS de arriba en la ventana y Guardar<\/code>. En este punto su funci\u00f3n est\u00e1 guardada pero no desplegada. Pulse tres puntos y seleccione Despliegue<\/code> para ejecutar la funci\u00f3n eventing. As\u00ed es como se ver\u00eda una vez que la funci\u00f3n se est\u00e1 ejecutando.<\/p>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/deployed.png\")
<\/p>\n
\nCreaci\u00f3n de la funci\u00f3n lambda para archivar en S3<\/h2>\n
Ejemplo de c\u00f3digo Lambda<\/h3>\n
import boto3\r\nimport json\r\nfrom datetime import datetime\r\n\r\ns3 = boto3.client('s3')\r\nbucket_name = 'your-s3-archive-bucket'\r\n\r\ndef lambda_handler(event, context):\r\n for record in event['Records']:\r\n msg = json.loads(record['Sns']['Message'])\r\n doc_id = msg['id']\r\n content = msg\r\n now = datetime.utcnow()\r\n folder = f\"{now.year}\/{now.month}\/{now.day}\"\r\n key = f\"{folder}\/{doc_id}.json\"\r\n s3.put_object(\r\n Bucket=bucket_name,\r\n Key=key,\r\n Body=json.dumps(content),\r\n ContentType='application\/json'\r\n )\r\n\r\n return {\r\n 'statusCode': 200,\r\n 'body': 'Archived successfully.'\r\n }\r\n<\/code><\/pre>\ns3:\/\/your-s3-archive-bucket\/2025\/6\/29\/log123.json<\/code><\/pre>\n
\nUtilizar el SNS para desacoplar la activaci\u00f3n del archivo<\/h2>\n
\n
\n
ArchivoTriggerTopic<\/code><\/li>\n
\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/SNS-Lambda.png\")
<\/center>
\nFijaci\u00f3n de permisos<\/strong><\/p>\nPol\u00edtica de confianza para
snsAccess<\/code> Papel:<\/h3>\n{\r\n \"Effect\": \"Allow\",\r\n \"Principal\": {\r\n \"Service\": \"apigateway.amazonaws.com\"\r\n },\r\n \"Action\": \"sts:AssumeRole\"\r\n}\r\n<\/code><\/pre>\nPol\u00edtica de acceso para el rol:<\/h3>\n
{\r\n \"Effect\": \"Allow\",\r\n \"Action\": \"sns:Publish\",\r\n \"Resource\": \"arn:aws:sns:us-east-1:account-id:ArchiveTriggerTopic\"\r\n}\r\n<\/code><\/pre>\n
\nConfiguraci\u00f3n de API Gateway para aceptar solicitudes de archivo<\/h2>\n
\n
\n
API REST<\/code> ya que proporciona integraci\u00f3n con el SNS<\/code>\u00a0servicio.<\/p>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/API-GW-1.png\")
<\/p>\nNombre API<\/code> y seleccione Tipo de punto final de la API<\/code> como Regional<\/code>. Hit Crear API<\/code> bot\u00f3n.<\/p>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/API-GW-2.png\")
<\/p>\n\n
\n
POST \/archivo<\/code> ruta.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\nRecursos<\/code> cree un recurso pulsando Crear recurso<\/code> del panel izquierdo.<\/p>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/API-GW-3.png\")
<\/center>Dar el Nombre del recurso<\/code>. Estoy llamando a mi nombre de recursos para ser archivo<\/code>.<\/p>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/API-GW-4.png\")
<\/p>\nCrear recurso<\/code> bot\u00f3n . En la p\u00e1gina siguiente, en la secci\u00f3n M\u00e9todos<\/code> golpe de panel Crear m\u00e9todo<\/code> . Esto nos permitir\u00e1 asignar un mont\u00f3n de configuraciones a nuestro m\u00e9todo POST y detalles sobre nuestra SNS<\/strong> servicio como lo que Regi\u00f3n AWS<\/code> se est\u00e1 ejecutando, ARN del Funci\u00f3n IAM<\/code> que tiene el permiso necesario para publicar en el tema SNS.<\/p>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/API-GW-6.png\")
<\/center>Si se desplaza hacia abajo en la p\u00e1gina, encontrar\u00e1 la p\u00e1gina Par\u00e1metros de la cadena de consulta URL<\/strong> secci\u00f3n. Aqu\u00ed, asignaremos el ARN de nuestro tema SNS utilizando el nombre del par\u00e1metro TemaArn<\/code><\/strong>. Adem\u00e1s, mapearemos Mensaje<\/code><\/strong> a method.request.body<\/code><\/strong>que contendr\u00e1 la carga \u00fatil completa de nuestro documento JSON.<\/p>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/API-GW-9.png\")
<\/center>Por \u00faltimo, pulsa el bot\u00f3n Guardar<\/code> bot\u00f3n.<\/p>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/API-Method-redacted.png\")
<\/p>\n
\nProbar el flujo de extremo a extremo<\/h2>\n
Pruebe primero el m\u00e9todo POST de la API<\/h3>\n
\n
\n
Prueba<\/code> y enviar un simple JSON, con id<\/code> campo como debe.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/API-Test-button-redacted.png\")
<\/p>\nPrueba<\/code> aseg\u00farese de que la traza del registro no muestra ning\u00fan error y el estado de la respuesta es 200. En este punto tenemos nuestro endpoint API funcionando correctamente. A continuaci\u00f3n probaremos este servicio desde curl.<\/p>\nDesde curl o Postman<\/h3>\n
curl -X POST https:\/\/your-api-gateway-url\/archive \\\r\n -H \"Content-Type: application\/json\" \\\r\n -d '{\r\n \"id\": \"hotel::10025\",\r\n \"type\": \"Hotel\",\r\n \"message\": \"Archiving via curl\",\r\n \"archive\": true\r\n }'\r\n<\/code><\/pre>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/s3-bucket.png\")
<\/p>\nDesde Capella utilizando Query Workbench<\/h3>\n
UPSERT INTO bulk.data.source (KEY, VALUE)\r\nVALUES (\"test::001\", {\"type\": \"test\", \"field\": \"value\"}, {\"expiration\": 2*60});\r\n<\/code><\/pre>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/s3-eventing.png\")
<\/center><\/p>\n
\nSoluci\u00f3n de problemas<\/h2>\n
ValidationError<\/strong>: el mensaje no debe ser nulo<\/strong><\/h3>\n
\n
\n
Mensaje<\/code> enviado al SNS est\u00e1 vac\u00edo.<\/li>\nAPI Gateway no tiene permiso para asumir el rol<\/strong><\/h3>\n
\n
\n
apigateway.amazonaws.com<\/code> servicio para asumirlo.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\nContent-Type incorrecto en la solicitud API<\/strong><\/h3>\n
\n
\n
application\/json<\/code>.<\/li>\nSNS recibe JSON escapado o malformado<\/strong><\/h3>\n
\n
\n
$util.escapeJavaScript($input.body)<\/code> en la plantilla de asignaci\u00f3n.<\/li>\nRegistros de CloudWatch para inspeccionar Lambda<\/strong><\/h3>\n
\n
\n
![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/cloudwatch.png\")
<\/p>\nMejoras y buenas pr\u00e1cticas<\/h2>\n
\n
\n
\nConclusi\u00f3n<\/h2>\n
\n
\n
Recursos<\/h2>\n
\n
\n