{"id":5566,"date":"2026-07-28T08:00:00","date_gmt":"2026-07-28T15:00:00","guid":{"rendered":"https:\/\/www.couchbase.com\/blog\/?p=5566"},"modified":"2026-07-30T15:22:40","modified_gmt":"2026-07-30T22:22:40","slug":"what-we-learned-evaluating-agent-memorythe-setup-part-1","status":"publish","type":"post","link":"https:\/\/www.couchbase.com\/blog\/pt\/what-we-learned-evaluating-agent-memorythe-setup-part-1\/","title":{"rendered":"O que Aprendemos Avaliando Mem\u00f3ria de Agentes: A Configura\u00e7\u00e3o (Parte 1)\u00a0"},"content":{"rendered":"

A mem\u00f3ria de agentes \u00e9 um dos problemas de infraestrutura mais dif\u00edceis na IA aplicada no momento, e o ecossistema de benchmarks em torno dela ainda est\u00e1 tomando forma. Este \u00e9 um artigo em duas partes. A Parte 1 aborda o que est\u00e1bamos usando como par\u00e2metro, como o medimos e como o pipeline \u00e9 constru\u00eddo. A Parte 2 aborda<\/a> o que os experimentos realmente mostraram. Estamos publicado ambos porque as decis\u00f5es envolvidas na avalia\u00e7\u00e3o s\u00e3o t\u00e3o consequentes quanto as decis\u00f5es do sistema, e essa parte raramente \u00e9 posta no papel.<\/p>\n\n\n\n

O que \u00e9 a mem\u00f3ria de agentes e por que ela n\u00e3o \u00e9 apenas RAG?<\/h2>\n\n\n\n

A mem\u00f3ria do agente \u00e9 o que faz com que um agente de IA n\u00e3o pare\u00e7a ter amn\u00e9sia.<\/p>\n\n\n\n

Os agentes de IA tradicionais n\u00e3o t\u00eam estado. Cada conversa come\u00e7a do zero. Por exemplo, um bot de atendimento ao cliente resolve um chamado, o usu\u00e1rio liga novamente dois dias depois, e o bot n\u00e3o tem registro da intera\u00e7\u00e3o anterior. Um assistente de programa\u00e7\u00e3o explica o mesmo conceito duas vezes na mesma semana porque n\u00e3o tem mem\u00f3ria da primeira conversa. Um assistente de compras recomenda algo que o usu\u00e1rio j\u00e1 comprou.<\/p>\n\n\n\n

A mem\u00f3ria do agente resolve isso mantendo uma camada persistente que armazena o que um agente aprende sobre um usu\u00e1rio entre sess\u00f5es e torna isso recuper\u00e1vel em intera\u00e7\u00f5es futuras. O agente aprende hoje que um usu\u00e1rio \u00e9 vegetariano e al\u00e9rgico a crust\u00e1ceos, e recorre a esse contexto em outubro, quando o usu\u00e1rio pede recomenda\u00e7\u00f5es de jantar.<\/p>\n\n\n\n

Se voc\u00ea j\u00e1 trabalhou com gera\u00e7\u00e3o aumentada por recupera\u00e7\u00e3o (RAG) antes, isso pode parecer familiar. Os mecanismos superficiais s\u00e3o semelhantes: armazenar coisas em um banco de dados vetorial, recuperar trechos relevantes no momento da consulta e pass\u00e1-los para um LLM. Mas a mem\u00f3ria de agentes \u00e9 um problema fundamentalmente diferente de tr\u00eas maneiras.<\/p>\n\n\n\n

Primeiro, o corpus \u00e9 pessoal e din\u00e2mico. No RAG de documentos, o corpus \u00e9 geralmente uma cole\u00e7\u00e3o est\u00e1tica, uma base de conhecimento, um conjunto de PDFs e uma base de c\u00f3digo. Na mem\u00f3ria do agente, o corpus \u00e9 todo o hist\u00f3rico de conversas de um usu\u00e1rio. Ele cresce a cada sess\u00e3o e \u00e9 diferente para cada usu\u00e1rio.<\/p>\n\n\n\n

Segundo, as consultas s\u00e3o autobiogr\u00e1ficas em vez de informacionais. Uma pesquisa em base de conhecimento \u00e9 uma consulta sobre o mundo. Uma consulta de mem\u00f3ria \u00e9 uma consulta sobre o usu\u00e1rio, coisas que ele disse, prefer\u00eancias que expressou e experi\u00eancias que mencionou. \u201cQual \u00e9 a capital da Fran\u00e7a?\u201d e \u201cO que eu disse sobre minhas restri\u00e7\u00f5es alimentares?\u201d n\u00e3o s\u00e3o o mesmo problema de recupera\u00e7\u00e3o.<\/p>\n\n\n\n

Em terceiro lugar, o tempo \u00e9 uma dimens\u00e3o de primeira classe. O mesmo fato pode aparecer de forma contradit\u00f3ria entre sess\u00f5es, e a rec\u00eancia determina qual vers\u00e3o est\u00e1 correta. Se um usu\u00e1rio mencionou dois gatos em mar\u00e7o e tr\u00eas gatos em junho, a resposta correta para \u201cQuantos gatos eu tenho?\u201d depende inteiramente de quando a pergunta est\u00e1 sendo feita. Um sistema de recupera\u00e7\u00e3o de documentos n\u00e3o precisa raciocinar sobre isso. Um sistema de mem\u00f3ria de agente, sim, e constantemente.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

\u00c9 por isso que um sistema RAG n\u00e3o pode simplesmente ser rebatizado como \u201cmem\u00f3ria de agente\u201d. As decis\u00f5es de projeto s\u00e3o diferentes, os modos de falha s\u00e3o diferentes e, como descobrimos, os benchmarks tamb\u00e9m s\u00e3o diferentes. Os sistemas de recupera\u00e7\u00e3o de documentos s\u00e3o avaliados com base na capacidade de encontrar o trecho correto em um corpus fixo. Os sistemas de mem\u00f3ria de agente precisam lidar com um corpus que \u00e9 pessoal, est\u00e1 em constante crescimento e repleto de contradi\u00e7\u00f5es. Os benchmarks existentes para o RAG n\u00e3o revelam os modos de falha que s\u00e3o relevantes para a mem\u00f3ria de agente. Tivemos que encontrar aqueles que o fazem.<\/p>\n\n\n\n

Os benchmarks: o que existe e por que importa<\/h2>\n\n\n\n

Antes de medir qualquer coisa, tivemos que decidir sobre o que medir.<\/p>\n\n\n\n

O cen\u00e1rio de benchmarks de mem\u00f3ria de agentes ainda \u00e9 relativamente jovem. N\u00f3s trabalhamos com dois deles: LoCoMo e LongMemEval.<\/p>\n\n\n\n

O LoCoMo (Long-term Conversation Memory) \u00e9 baseado em 10 registros de conversas longas \u2013 conversas naturalistas entre duas pessoas que divagam, fazem refer\u00eancia a eventos passados e cont\u00eam contexto impl\u00edcito. A partir desses 10 registros, o benchmark gera 1.540 perguntas distribu\u00eddas em quatro categorias:<\/p>\n\n\n\n