Ao final deste tutorial, voc\u00ea ter\u00e1 uma solu\u00e7\u00e3o robusta e completa que reage a muta\u00e7\u00f5es de documentos ou expira\u00e7\u00f5es baseadas em TTL no Couchbase e as arquiva com efici\u00eancia no S3, sem nenhuma interven\u00e7\u00e3o manual.<\/p>\n
Vis\u00e3o geral da arquitetura<\/h2>\n
Esta \u00e9 a apar\u00eancia da arquitetura:<\/p>\n
![\"Architecture\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/arch.jpg\")
<\/center> <\/p>\nFluxo:<\/strong><\/p>\n Essa configura\u00e7\u00e3o \u00e9 desacoplada, dimension\u00e1vel e n\u00e3o requer polling.<\/p>\n Eventos do Couchbase<\/strong> fornece uma maneira nativa de acionar a l\u00f3gica comercial em resposta a muta\u00e7\u00f5es de documentos (cria\u00e7\u00f5es, atualiza\u00e7\u00f5es, exclus\u00f5es) ou expira\u00e7\u00f5es.<\/p>\n Com o Eventing, podemos:<\/p>\n Aqui est\u00e1 um exemplo simplificado da fun\u00e7\u00e3o Eventing do Couchbase que usamos para arquivar documentos. A fun\u00e7\u00e3o implementa a l\u00f3gica para lidar com dois cen\u00e1rios principais:<\/p>\n Em ambos os casos, o documento \u00e9 enviado a um API Gateway externo para arquivamento. Se o status da resposta da API for Observa\u00e7\u00e3o:<\/strong> Por motivos de desempenho, recomendamos comentar todos os Veja como definimos as configura\u00e7\u00f5es e os v\u00ednculos ao criar a fun\u00e7\u00e3o de eventos.<\/p>\n Acertar Acertar A fun\u00e7\u00e3o Lambda consome a mensagem do SNS e arquiva o JSON completo em um bucket do S3, organizado por data.<\/p>\n Isso resulta em um objeto S3 como:<\/p>\n SNS (Servi\u00e7o de Notifica\u00e7\u00e3o Simples)<\/strong> permite que v\u00e1rios servi\u00e7os recebam a mesma mensagem. Aqui, ele passa a solicita\u00e7\u00e3o de arquivamento para uma fun\u00e7\u00e3o Lambda.<\/p>\n Passos:<\/strong><\/p>\n Certifique-se de que o API Gateway tenha permiss\u00e3o para publicar no t\u00f3pico do SNS por meio de uma pol\u00edtica de confian\u00e7a e acesso:<\/p>\n O API Gateway atua como nosso ponto de extremidade p\u00fablico que recebe as solicita\u00e7\u00f5es de arquivo e as encaminha para o SNS.<\/p>\n Principais etapas:<\/strong><\/p>\n Entre as op\u00e7\u00f5es fornecidas, selecione D\u00ea um <\/p>\n Na pr\u00f3xima Acertar Parab\u00e9ns, voc\u00ea acabou de implantar um Gateway de API<\/strong> que pode fazer o POST de seu documento JSON para o T\u00f3pico do SNS<\/strong>que, por fim, aciona o Lambda<\/strong> para escrev\u00ea-lo em S3<\/strong>.<\/p>\n Voc\u00ea pode testar seu pipeline de duas maneiras:<\/p>\n Quando voc\u00ea atinge o Ap\u00f3s o acionamento, verifique se um objeto correspondente foi criado em seu bucket S3.<\/p>\n Para testar a configura\u00e7\u00e3o do Capela<\/strong>inserir um documento com um Valor TTL de 120 segundos<\/strong>.<\/p>\n Execute o comando SQL acima a partir do query workbench e aguarde at\u00e9 que o documento apare\u00e7a na janela configurada Balde S3<\/strong> aproximadamente 60 segundos antes de sua expira\u00e7\u00e3o<\/strong>A fun\u00e7\u00e3o Eventing define um cron\u00f4metro para acionar um minuto antes do TTL<\/strong>.<\/p>\n Aqui est\u00e3o alguns problemas comuns e como corrigi-los:<\/p>\n Nesta postagem do blog, criamos um pipeline de arquivamento de documentos robusto e em tempo real usando:<\/p>\n Essa arquitetura \u00e9 totalmente sem servidor, \u00e9 dimensionada sem esfor\u00e7o e \u00e9 uma maneira econ\u00f4mica de descarregar dados hist\u00f3ricos para reten\u00e7\u00e3o, conformidade ou an\u00e1lise.<\/p>\n Para ajud\u00e1-lo a se aprofundar e expandir seu conhecimento sobre as tecnologias usadas nesse pipeline, aqui est\u00e3o alguns recursos valiosos:<\/p>\n In modern data-driven applications, retaining historical documents is essential for compliance, auditing, and cost optimization. However, keeping all data indefinitely in your primary operational database is often unsustainable and expensive. In this blog post, I\u2019ll walk you through building a […]<\/p>","protected":false},"author":33279,"featured_media":17296,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"inline_featured_image":false,"footnotes":""},"categories":[1821,2225,1816],"tags":[],"ppma_author":[9090],"class_list":["post-17248","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-couchbase-architecture","category-cloud","category-couchbase-server"],"acf":[],"yoast_head":"\n\n
\n
arquivo: true<\/code> bandeira).<\/li>\n
\nPor que o Couchbase Eventing para arquivamento?<\/h2>\n
\n
\n
archive === true<\/code> e\/ou tipo === registros<\/code>)<\/li>\nEscrevendo a fun\u00e7\u00e3o Eventing do Couchbase<\/h2>\n
\n
\n
expira\u00e7\u00e3o<\/code> registramos um timer que dispara 60 segundos antes do TTL. Quando o cron\u00f4metro expira, o DocTimerCallback<\/code> \u00e9 invocada, que ent\u00e3o chama a fun\u00e7\u00e3o publish(doc, meta)<\/code> para arquivar o documento.<\/li>\narquivo: true<\/code>a fun\u00e7\u00e3o chama imediatamente publish(doc, meta)<\/code> para arquivar o documento.<\/li>\n<\/ol>\n<\/li>\n<\/ol>\n200<\/code> ou 302<\/code>o documento \u00e9 explicitamente exclu\u00eddo do bucket de origem, concluindo o fluxo de trabalho de arquivamento. Isso oferece um mecanismo flex\u00edvel para arquivar documentos sob demanda ou por meio de automa\u00e7\u00e3o baseada em TTL.<\/p>\nfunction OnUpdate(doc, meta) {\r\n if (doc.archive && doc.archive === true){\r\n log('Archiving document with ID:', meta.id);\r\n var status = publish(doc, meta);\r\n if (status === true) {\r\n delete src[meta.id];\r\n } else {\r\n log('Publish failed, document will not be deleted:', meta.id);\r\n }\r\n } else if (meta.expiration > 0){\r\n var nMinsPrior = new Date((meta.expiration - 60) * 1000);\r\n var currentTime = new Date().getTime();\r\n log('Time difference (ms): ', currentTime - nMinsPrior);\r\n if (currentTime > nMinsPrior) {\r\n log('Within 1 minute of TTL expiry, archiving:', meta.id);\r\n var publishStatus = publish(doc, meta);\r\n } else {\r\n log('Timer set for future archiving:', meta.id);\r\n createTimer(DocTimerCallback, nMinsPrior, meta.id, meta.id);\r\n }\r\n } else {\r\n log('No archiving conditions met for:', meta.id);\r\n return;\r\n }\r\n}\r\n\r\nfunction DocTimerCallback(context) {\r\n var doc = src[context];\r\n if (doc) {\r\n var meta = { id: context };\r\n var publishStatus = publish(doc, meta);\r\n } else {\r\n log('Timer callback failed: document not found for:', context);\r\n }\r\n}\r\n\r\nfunction publish(doc, meta) {\r\n try {\r\n var request = {\r\n path: 'archive',\r\n headers: {\r\n 'Content-Type': 'application\/json'\r\n },\r\n body: { ...doc, id: meta.id }\r\n };\r\n log(\"Sending request:\", request);\r\n var response = curl('POST', archive2S3, request);\r\n if (response.status === 200 || response.status === 302) {\r\n log(\"Publish success for:\", meta.id, \" Response body:\", response.body);\r\n return true;\r\n } else {\r\n log(\"Publish failed with status:\", response.status, \" Request body:\", request);\r\n return false;\r\n }\r\n } catch (e) {\r\n log(\"Exception during publish:\", e);\r\n return false;\r\n }\r\n}\r\n<\/pre>\nlog()<\/code> mostradas acima. Esses registros foram inclu\u00eddos principalmente para fins de depura\u00e7\u00e3o e desenvolvimento. O excesso de registros em ambientes de produ\u00e7\u00e3o pode afetar o desempenho e aumentar os custos de armazenamento de registros.<\/p><\/blockquote>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/settings.png\")
<\/p>\nPr\u00f3ximo<\/code> para criar associa\u00e7\u00f5es. \u00c9 aqui que vincularemos o endpoint do nosso API Gateway a um alias arquivo2S3<\/code> e tamb\u00e9m usa o bucket de origem como alias src<\/code>. Observe que usamos a permiss\u00e3o de leitura\/grava\u00e7\u00e3o para o nosso bucket de origem, pois gostar\u00edamos que os dados fossem removidos de l\u00e1.<\/p>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/bindings-new.png\")
<\/p>\nPr\u00f3ximo<\/code> novamente e copie\/cole a fun\u00e7\u00e3o JS acima na janela e Salvar<\/code>. Nesse ponto, sua fun\u00e7\u00e3o est\u00e1 salva, mas n\u00e3o implantada. Pressione tr\u00eas pontos e selecione Implementar<\/code> para executar a fun\u00e7\u00e3o de eventos. Esta \u00e9 a apar\u00eancia quando a fun\u00e7\u00e3o estiver em execu\u00e7\u00e3o.<\/p>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/deployed.png\")
<\/p>\n
\nCria\u00e7\u00e3o da fun\u00e7\u00e3o Lambda para arquivar no S3<\/h2>\n
Exemplo de c\u00f3digo Lambda<\/h3>\n
import boto3\r\nimport json\r\nfrom datetime import datetime\r\n\r\ns3 = boto3.client('s3')\r\nbucket_name = 'your-s3-archive-bucket'\r\n\r\ndef lambda_handler(event, context):\r\n for record in event['Records']:\r\n msg = json.loads(record['Sns']['Message'])\r\n doc_id = msg['id']\r\n content = msg\r\n now = datetime.utcnow()\r\n folder = f\"{now.year}\/{now.month}\/{now.day}\"\r\n key = f\"{folder}\/{doc_id}.json\"\r\n s3.put_object(\r\n Bucket=bucket_name,\r\n Key=key,\r\n Body=json.dumps(content),\r\n ContentType='application\/json'\r\n )\r\n\r\n return {\r\n 'statusCode': 200,\r\n 'body': 'Archived successfully.'\r\n }\r\n<\/code><\/pre>\ns3:\/\/your-s3-archive-bucket\/2025\/6\/29\/log123.json<\/code><\/pre>\n
\nUso do SNS para desacoplar o acionador de arquivamento<\/h2>\n
\n
\n
ArchiveTriggerTopic<\/code><\/li>\n
\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/SNS-Lambda.png\")
<\/center>
\nCorre\u00e7\u00e3o de permiss\u00f5es<\/strong><\/p>\nPol\u00edtica de confian\u00e7a para
snsAccess<\/code> Fun\u00e7\u00e3o:<\/h3>\n{\r\n \"Effect\": \"Allow\",\r\n \"Principal\": {\r\n \"Service\": \"apigateway.amazonaws.com\"\r\n },\r\n \"Action\": \"sts:AssumeRole\"\r\n}\r\n<\/code><\/pre>\nPol\u00edtica de acesso para a fun\u00e7\u00e3o:<\/h3>\n
{\r\n \"Effect\": \"Allow\",\r\n \"Action\": \"sns:Publish\",\r\n \"Resource\": \"arn:aws:sns:us-east-1:account-id:ArchiveTriggerTopic\"\r\n}\r\n<\/code><\/pre>\n
\nConfigura\u00e7\u00e3o do API Gateway para aceitar solicita\u00e7\u00f5es de arquivamento<\/h2>\n
\n
\n
API REST<\/code> pois oferece integra\u00e7\u00e3o com o SNS<\/code>\u00a0servi\u00e7o.<\/p>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/API-GW-1.png\")
<\/p>\nNome da API<\/code> e selecione Tipo de ponto de extremidade da API<\/code> como Regional<\/code>. Acertar Criar API<\/code> bot\u00e3o.<\/p>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/API-GW-2.png\")
<\/p>\n\n
\n
POST \/archive<\/code> rota.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\nRecursos<\/code> crie um recurso pressionando Criar recurso<\/code> no painel esquerdo.<\/p>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/API-GW-3.png\")
<\/center>D\u00ea a Nome do recurso<\/code>. Estou chamando meu nome de recurso para ser arquivo<\/code>.<\/p>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/API-GW-4.png\")
<\/p>\nCriar recurso<\/code> bot\u00e3o. Na p\u00e1gina seguinte, na se\u00e7\u00e3o M\u00e9todos<\/code> painel atingido Criar m\u00e9todo<\/code> button. Isso nos permitir\u00e1 mapear v\u00e1rias configura\u00e7\u00f5es para nosso m\u00e9todo POST e detalhes sobre nosso SNS<\/strong> servi\u00e7o como o que Regi\u00e3o AWS<\/code> que est\u00e1 sendo executado, ARN do Fun\u00e7\u00e3o de IAM<\/code> que tenha a permiss\u00e3o necess\u00e1ria para publicar no t\u00f3pico do SNS.<\/p>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/API-GW-6.png\")
<\/center>Se voc\u00ea rolar a p\u00e1gina para baixo, encontrar\u00e1 o Par\u00e2metros da cadeia de consulta de URL<\/strong> se\u00e7\u00e3o. Aqui, mapearemos o ARN do nosso t\u00f3pico do SNS usando o nome do par\u00e2metro TopicArn<\/code><\/strong>. Al\u00e9m disso, mapearemos Mensagem<\/code><\/strong> para method.request.body<\/code><\/strong>que conter\u00e1 a carga \u00fatil completa do nosso documento JSON.<\/p>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/API-GW-9.png\")
<\/center>Por fim, pressione o bot\u00e3o Salvar<\/code> bot\u00e3o.<\/p>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/API-Method-redacted.png\")
<\/p>\n
\nTeste do fluxo de ponta a ponta<\/h2>\n
Primeiro, teste o m\u00e9todo POST da API<\/h3>\n
\n
\n
Teste<\/code> e enviar um JSON simples, com id<\/code> como obrigat\u00f3rio.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/API-Test-button-redacted.png\")
<\/p>\nTeste<\/code> certifique-se de que o rastreamento do registro n\u00e3o mostre nenhum erro e que o status da resposta seja 200. Neste ponto, nosso endpoint de API est\u00e1 funcionando bem. Em seguida, testaremos esse servi\u00e7o com o curl.<\/p>\nDe curl ou Postman<\/h3>\n
curl -X POST https:\/\/your-api-gateway-url\/archive \\\r\n -H \"Content-Type: application\/json\" \\\r\n -d '{\r\n \"id\": \"hotel::10025\",\r\n \"type\": \"Hotel\",\r\n \"message\": \"Archiving via curl\",\r\n \"archive\": true\r\n }'\r\n<\/code><\/pre>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/s3-bucket.png\")
<\/p>\nDo Capella usando o Query Workbench<\/h3>\n
UPSERT INTO bulk.data.source (KEY, VALUE)\r\nVALUES (\"test::001\", {\"type\": \"test\", \"field\": \"value\"}, {\"expiration\": 2*60});\r\n<\/code><\/pre>\n![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/s3-eventing.png\")
<\/center><\/p>\n
\nSolu\u00e7\u00e3o de problemas<\/h2>\n
ValidationError<\/strong>: a mensagem n\u00e3o deve ser nula<\/strong><\/h3>\n
\n
\n
Mensagem<\/code> enviado ao SNS est\u00e1 vazio.<\/li>\nO API Gateway n\u00e3o tem permiss\u00e3o para assumir a fun\u00e7\u00e3o<\/strong><\/h3>\n
\n
\n
apigateway.amazonaws.com<\/code> servi\u00e7o para assumi-lo.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\nContent-Type incorreto na solicita\u00e7\u00e3o de API<\/strong><\/h3>\n
\n
\n
aplicativo\/json<\/code>.<\/li>\nO SNS recebe JSON com escape ou malformado<\/strong><\/h3>\n
\n
\n
$util.escapeJavaScript($input.body)<\/code> no modelo de mapeamento.<\/li>\nRegistros do CloudWatch para inspecionar o Lambda<\/strong><\/h3>\n
\n
\n
![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/07\/cloudwatch.png\")
<\/p>\nAprimoramentos e pr\u00e1ticas recomendadas<\/h2>\n
\n
\n
\nConclus\u00e3o<\/h2>\n
\n
\n
Recursos<\/h2>\n
\n
\n