Conjunto de dados de avalia\u00e7\u00e3o<\/em> recebe os dados da verdade terrestre e as sa\u00eddas do agente (chamadas de ferramentas, respostas do agente etc.) e estrutura os dados brutos em um formato f\u00e1cil de processar para o processo de valida\u00e7\u00e3o que se segue. Ela transforma o conjunto de dados dourado (conjunto de dados que cont\u00e9m a verdade b\u00e1sica e as respostas do agente para o mesmo) em uma lista de atributos que s\u00e3o importantes para a avalia\u00e7\u00e3o e podem ser facilmente processados pelo mecanismo de valida\u00e7\u00e3o. O conjunto de dados de avalia\u00e7\u00e3o criado tem um ID de conjunto de dados que pode ser usado para extrair o conjunto de dados do armazenamento de valores-chave do Couchbase, eliminando a necessidade de armazenar e gerenciar o conjunto de dados localmente.<\/p>\nMecanismo de valida\u00e7\u00e3o<\/h3>\n
Processa o conjunto de dados de avalia\u00e7\u00e3o e realiza a avalia\u00e7\u00e3o no mesmo. Conectado a um cat\u00e1logo de m\u00e9tricas que fornece aos usu\u00e1rios um conjunto completo de m\u00e9tricas para avaliar cada parte do sistema ag\u00eantico\/RAG. O cat\u00e1logo de m\u00e9tricas tamb\u00e9m \u00e9 integrado ao RAGAS, proporcionando aos usu\u00e1rios a flexibilidade de usar as m\u00e9tricas do RAGAS, se necess\u00e1rio. O mecanismo de valida\u00e7\u00e3o calcula as m\u00e9tricas para o conjunto de dados de avalia\u00e7\u00e3o e combina os resultados para formar um quadro de dados interpret\u00e1vel, juntamente com um \u00edndice m\u00e9dio que fornece aos usu\u00e1rios uma ideia da qualidade do sistema geral.<\/p>\n
Gerente de experimentos<\/h3>\n
M\u00f3dulo central que conecta todos os outros componentes. Cria e gerencia experimentos de avalia\u00e7\u00e3o. Um experimento \u00e9 uma inst\u00e2ncia individual de avalia\u00e7\u00e3o, que consiste em uma sa\u00edda detalhada e metadados, juntamente com recursos de rastreamento de c\u00f3digo para fornecer aos usu\u00e1rios uma vis\u00e3o das altera\u00e7\u00f5es feitas em seu sistema ag\u00eantico entre dois experimentos.<\/p>\n
O gerenciador de experimentos recebe os dados de avalia\u00e7\u00e3o e um conjunto de op\u00e7\u00f5es de experimentos que consistem nas m\u00e9tricas a serem usadas e em outras informa\u00e7\u00f5es relacionadas ao seu sistema ag\u00eantico e se conecta ao mecanismo de valida\u00e7\u00e3o para avaliar o conjunto de dados e obter as pontua\u00e7\u00f5es calculadas. Em seguida, as pontua\u00e7\u00f5es s\u00e3o processadas e formatadas para produzir um relat\u00f3rio de avalia\u00e7\u00e3o juntamente com metadados do experimento, o que permite inferir a avalia\u00e7\u00e3o e comparar diferentes experimentos.<\/p>\n
O gerenciador de experimentos tamb\u00e9m oferece aos usu\u00e1rios a capacidade de iniciar uma cadeia de experimentos, com cada experimento sucessivo rastreando as altera\u00e7\u00f5es no agente a partir do experimento principal. Permite que os usu\u00e1rios desenvolvam seus agentes de forma iterativa e comparem as avalia\u00e7\u00f5es realizadas no mesmo agente entre as vers\u00f5es. Os metadados de cada experimento cont\u00eam registros de diferen\u00e7as de c\u00f3digo, m\u00e9tricas m\u00e9dias e configura\u00e7\u00f5es que podem ser usadas para analisar se uma altera\u00e7\u00e3o melhorou ou n\u00e3o o sistema ag\u00eantico.<\/p>\n
Escolhendo as m\u00e9tricas certas para seu sistema ag\u00eantico<\/h2>\n
Ao avaliar um sistema ag\u00eantico, \u00e9 fundamental selecionar as m\u00e9tricas corretas para avaliar com precis\u00e3o seu desempenho. A escolha da m\u00e9trica influencia diretamente a forma como voc\u00ea interpreta o resultado e faz melhorias iterativas. Para sistemas de IA, as m\u00e9tricas devem ser escolhidas com base nas seguintes considera\u00e7\u00f5es:<\/p>\n
Sistema<\/b> Tipo<\/b><\/p>\n\n- \n
\n- Sistemas RAG<\/strong>: Foco em m\u00e9tricas de recupera\u00e7\u00e3o (precis\u00e3o, recall) e m\u00e9tricas de gera\u00e7\u00e3o (fidelidade, corre\u00e7\u00e3o da resposta)<\/li>\n
- Sistemas ag\u00eanticos<\/strong>: Priorizar a precis\u00e3o da chamada da ferramenta, a coer\u00eancia l\u00f3gica e a fidelidade da resposta<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n
Uso<\/b> Caso<\/b> Requisitos<\/b><\/p>\n\n- \n
\n- Resposta \u00e0 pergunta<\/strong>: Enfatizar a corre\u00e7\u00e3o e a relev\u00e2ncia das respostas<\/li>\n
- Recupera\u00e7\u00e3o de informa\u00e7\u00f5es<\/strong>: Foco na precis\u00e3o e na recupera\u00e7\u00e3o do contexto<\/li>\n
- Tarefas de racioc\u00ednio<\/strong>: Priorizar a coer\u00eancia l\u00f3gica e a fidelidade<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n
T\u00e9cnica<\/b> Considera\u00e7\u00f5es<\/b><\/p>\n\n- \n
\n- Custo de computa\u00e7\u00e3o<\/strong>: As m\u00e9tricas baseadas em incorpora\u00e7\u00e3o s\u00e3o mais pesadas do que as baseadas em tokens<\/li>\n
- Depend\u00eancias de API<\/strong>: As m\u00e9tricas do LLM-as-judge exigem acesso \u00e0 API<\/li>\n
- Processamento em lote<\/strong>: Algumas m\u00e9tricas oferecem suporte \u00e0 avalia\u00e7\u00e3o eficiente de lotes<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n
Para facilitar o processo acima, estas s\u00e3o as cinco m\u00e9tricas que fornecem a melhor vis\u00e3o geral do desempenho do seu sistema ag\u00eantico:<\/p>\n
\n- \n
\n- Ferramenta<\/b> c<\/strong>todos<\/b> precis\u00e3o<\/b>: Avalia se o agente usa as ferramentas certas com os par\u00e2metros certos.<\/li>\n
- Ferramenta<\/b> precis\u00e3o<\/b>: Compara os resultados da ferramenta com os resultados da ferramenta de verdade. Mede a precis\u00e3o das ferramentas.<\/li>\n
- Agente<\/b> resposta<\/b> corre\u00e7\u00e3o<\/b>: Avalia a corre\u00e7\u00e3o das respostas do agente em compara\u00e7\u00e3o com a verdade b\u00e1sica. Mede a qualidade da resposta geral do agente.<\/li>\n
- L\u00f3gico<\/b> coer\u00eancia<\/b>: Avalia o fluxo l\u00f3gico e o racioc\u00ednio nas respostas do agente, ajuda a analisar a cadeia de comando entre os agentes em um sistema e como cada agente trabalha em conjunto para responder \u00e0 consulta do usu\u00e1rio.<\/li>\n
- Resposta<\/b> fidelidade<\/b>: Verifica se a resposta do agente \u00e9 consistente com as sa\u00eddas de ferramentas obtidas pelo agente.<\/li>\n<\/ol>\n<\/li>\n<\/ol>\n
O est\u00e1gio final \u00e9 a an\u00e1lise: agrega\u00e7\u00e3o de resultados, m\u00e9tricas de computa\u00e7\u00e3o e, principalmente, compreens\u00e3o de onde e por que o agente falhou. \u00c9 aqui que a falta de padroniza\u00e7\u00e3o e automa\u00e7\u00e3o nas etapas anteriores volta a assombrar o desenvolvedor. A depura\u00e7\u00e3o de incompatibilidades, o rastreamento de erros at\u00e9 sua origem e a itera\u00e7\u00e3o no agente ou nos dados s\u00e3o lentos e propensos a erros.<\/p>\n
Aprofundamento: interpreta\u00e7\u00e3o eficaz dos resultados<\/h2>\n
Agora que voc\u00ea selecionou as m\u00e9tricas apropriadas, executou o experimento e obteve os resultados, o que vem a seguir? Como dar sentido aos n\u00fameros aparentemente aleat\u00f3rios que voc\u00ea coletou? Interpretar esses resultados \u00e9 uma etapa crucial para entender o comportamento e o desempenho de seu sistema. H\u00e1 v\u00e1rias estrat\u00e9gias eficazes para analisar os resultados, descobrir insights e avaliar o impacto das altera\u00e7\u00f5es que voc\u00ea fez. Essa etapa transforma as m\u00e9tricas brutas em conhecimento acion\u00e1vel sobre os pontos fortes e fracos de seu agente e as \u00e1reas que precisam ser aprimoradas.<\/p>\n
T\u00e9cnicas de an\u00e1lise comparativa<\/h3>\n
Ao comparar duas implementa\u00e7\u00f5es ou vers\u00f5es diferentes de agentes:<\/p>\n
Compara\u00e7\u00e3o de m\u00e9tricas lado a lado<\/strong><\/p>\n\n- \n
\n- M\u00e9dia de cada m\u00e9trica em todos os casos de teste para ambos os agentes<\/li>\n
- Calcule a melhoria relativa entre os sistemas (por exemplo, \"O Agente B mostra uma melhoria de 12% na precis\u00e3o da chamada da ferramenta em rela\u00e7\u00e3o ao Agente A\")<\/li>\n
- Use gr\u00e1ficos de radar para visualizar o cen\u00e1rio de desempenho multidimensional<\/li>\n
- Identificar pontos fortes complementares (por exemplo, \"o Agente A \u00e9 excelente na sele\u00e7\u00e3o de ferramentas, enquanto o Agente B produz respostas mais fi\u00e9is\")<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n
An\u00e1lise pareada<\/strong><\/p>\n\n- \n
\n- Comparar o desempenho em consultas id\u00eanticas para identificar diferen\u00e7as sistem\u00e1ticas<\/li>\n
- Calcule a porcentagem de consultas em que um agente supera o outro<\/li>\n
- Identificar os tipos de consulta em que as diferen\u00e7as de desempenho s\u00e3o mais acentuadas<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n
Exemplo de interpreta\u00e7\u00e3o<\/i>: \"Embora o Agente B tenha maior precis\u00e3o m\u00e9dia de chamadas de ferramentas (0,87 vs. 0,79), o Agente A tem melhor desempenho em tarefas complexas de racioc\u00ednio em v\u00e1rias etapas, sugerindo que o Agente B pode usar padr\u00f5es mais simples, por\u00e9m mais confi\u00e1veis.\"<\/p>\nAbordagens de an\u00e1lise de distribui\u00e7\u00e3o<\/h3>\n
Compreender a distribui\u00e7\u00e3o das pontua\u00e7\u00f5es de m\u00e9tricas fornece uma vis\u00e3o mais profunda do que apenas as m\u00e9dias:<\/p>\n
An\u00e1lise de histograma<\/strong><\/p>\n\n- \n
\n- Trace a distribui\u00e7\u00e3o de pontua\u00e7\u00f5es para cada m\u00e9trica<\/li>\n
- Identificar se o desempenho segue uma distribui\u00e7\u00e3o normal ou se apresenta agrupamento\/bimodalidade<\/li>\n
- Comparar o spread (varia\u00e7\u00e3o) entre diferentes implementa\u00e7\u00f5es<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n
An\u00e1lise de quartis<\/strong><\/p>\n\n- \n
\n- Examine os percentis 25, 50 (mediana) e 75<\/li>\n
- Uma grande diferen\u00e7a entre a mediana e o 75\u00ba percentil indica um desempenho inconsistente<\/li>\n
- Concentrar os esfor\u00e7os de aprimoramento no aumento do quartil inferior<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n
Exemplo de interpreta\u00e7\u00e3o<\/i>: \"A precis\u00e3o da chamada de ferramenta do Agente A tem uma distribui\u00e7\u00e3o bimodal com picos de 0,4 e 0,9, indicando que ele tem um desempenho muito bom em alguns tipos de consulta, mas tem dificuldades significativas em outros. O Agente B apresenta uma distribui\u00e7\u00e3o mais estreita centrada em 0,75, indicando um desempenho mais consistente, mas menos excepcional.\"<\/p>\nAn\u00e1lise baseada em limites<\/h3>\n
A defini\u00e7\u00e3o de limites de desempenho ajuda a quantificar as taxas de sucesso:<\/p>\n
C\u00e1lculo da taxa de sucesso<\/strong><\/p>\n\n- \n
\n- Definir limites aceit\u00e1veis para cada m\u00e9trica (por exemplo, precis\u00e3o da chamada da ferramenta > 0,85)<\/li>\n
- Calcule a porcentagem de amostras que excedem cada limite<\/li>\n
- Identificar quais limites s\u00e3o mais dif\u00edceis de serem atingidos<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n
An\u00e1lise multicrit\u00e9rio<\/strong><\/p>\n\n- \n
\n- Definir sucesso como o cumprimento de limites em v\u00e1rias m\u00e9tricas simultaneamente<\/li>\n
- Calcule a porcentagem de amostras que atendem a todos os crit\u00e9rios<\/li>\n
- Identificar os pontos de falha mais comuns<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n
Exemplo de interpreta\u00e7\u00e3o<\/i>: \"Embora 78% das respostas do Agente A atendam ao nosso limite de precis\u00e3o de ferramenta de 0,9, apenas 62% atendem simultaneamente ao nosso limite de fidelidade de resposta de 0,85. Isso sugere que o agente ocasionalmente produz resultados corretos por meio de caminhos de racioc\u00ednio incorretos.\"<\/p>\n
Ao aplicar essas abordagens anal\u00edticas \u00e0s m\u00e9tricas do agente, voc\u00ea pode desenvolver uma compreens\u00e3o razo\u00e1vel do desempenho do seu sistema, tomar decis\u00f5es de aprimoramento e estabelecer padr\u00f5es de qualidade confi\u00e1veis para a implanta\u00e7\u00e3o. Essa an\u00e1lise sistem\u00e1tica ajuda a ir al\u00e9m das m\u00e9tricas simples para compreender de fato os recursos e as limita\u00e7\u00f5es do agente em diferentes contextos.<\/p>\n
Exemplo: avalia\u00e7\u00e3o de um agente de an\u00e1lise de dados<\/h2>\n
Testamos essa estrutura em um agente de conversa\u00e7\u00e3o projetado para responder a consultas com base em dados armazenados no Couchbase. O agente recebe as perguntas do usu\u00e1rio, encaminha a pergunta para uma ferramenta NL2SQL++ que gera consultas SQL++ para buscar os documentos correspondentes no armazenamento e gera uma resposta detalhada e um relat\u00f3rio de an\u00e1lise para a pergunta do usu\u00e1rio usando os documentos recuperados.<\/p>\n
Para nossa avalia\u00e7\u00e3o, o agente foi executado em um conjunto de dados de listagens do AirBNB que cont\u00e9m os detalhes das listagens do AirBNB nos Estados Unidos. Geramos perguntas e respostas de refer\u00eancia nas inst\u00e2ncias de dados usando o Gerador de dados sint\u00e9ticos. Abaixo est\u00e1 um exemplo de conjunto de pares de respostas de consulta gerados pelo gerador de dados sint\u00e9ticos:<\/p>\n
[\r\n {\r\n \"question\": \"What type of room is offered in the \\\"Clean and quiet apt home by the park\\?\"\r\n \"answer\": \"The room type offered in the \\\"Clean and quiet apt home by the park\\\" is a Private room. This conclusion is based on the data retrieved from the Airbnb listings, where the specific entry for this listing name was queried to determine the type of accommodation provided. The data clearly indicates that the listing is categorized under the \\\"Private room\\\" type, meaning guests will have a private space within a shared property.\"\r\n },\r\n {\r\n \"question\": \"What is the cancellation policy for the \\\"Skylit Midtown Castle\\\"?\"\r\n \"answer\": \"The cancellation policy for the \\\"Skylit Midtown Castle\\\" is moderate. This conclusion is drawn from the data retrieved from the Airbnb listings, where the specific entry for this listing name was queried to determine the cancellation terms. The data indicates that the listing follows a moderate cancellation policy, which typically allows for more flexibility compared to strict policies, offering guests the ability to cancel within a certain timeframe before the check-in date for a full refund.\"\r\n }\r\n]\r\n<\/pre>\nUm conjunto de 40 pares de documentos de consulta foi gerado para esse experimento espec\u00edfico. O agente foi executado nessas consultas geradas e a sa\u00edda foi registrada para criar o conjunto de dados de avalia\u00e7\u00e3o.<\/p>\n
O conjunto de dados de avalia\u00e7\u00e3o (golden dataset) consiste em:<\/p>\n
\n- \n
\n- Perguntas: Perguntas geradas no conjunto de dados<\/li>\n
- Respostas da verdade b\u00e1sica: As respostas de refer\u00eancia (corretas) para as perguntas geradas<\/li>\n
- Contexto de refer\u00eancia: A fonte de verdade a partir da qual as consultas foram geradas (resultados da ferramenta de verdade terrestre)<\/li>\n
- Contexto recuperado: Os documentos recuperados usando a ferramenta NL2SQL++ executada nas consultas geradas (resultados da ferramenta)<\/li>\n
- Respostas do agente: As respostas do agente, considerando a consulta e o contexto recuperado<\/li>\n<\/ol>\n<\/li>\n<\/ol>\n
Um experimento foi criado nesse conjunto de dados de avalia\u00e7\u00e3o usando tr\u00eas m\u00e9tricas: similaridade sem\u00e2ntica, precis\u00e3o do contexto e relev\u00e2ncia da resposta. A similaridade sem\u00e2ntica mede a similaridade de incorpora\u00e7\u00e3o entre os contextos recuperados e de refer\u00eancia. A precis\u00e3o do contexto mede a precis\u00e3o dos contextos recuperados com rela\u00e7\u00e3o \u00e0 consulta e ao contexto de refer\u00eancia. A relev\u00e2ncia da resposta mede a relev\u00e2ncia da resposta do agente para a consulta do usu\u00e1rio e o contexto recuperado.<\/p>\n
As pontua\u00e7\u00f5es m\u00e9dias de m\u00e9tricas, juntamente com os metadados do experimento para esse experimento espec\u00edfico, s\u00e3o fornecidas abaixo. Aqui, \"m\u00e9dia\" refere-se \u00e0 m\u00e9dia de cada m\u00e9trica nos pontos de dados do conjunto de dados de avalia\u00e7\u00e3o:<\/p>\n
{\r\n \"experiment_id\": \"experiment5\",\r\n \"timestamp\":\"2025-03-20T11:17:46.411457\",\r\n \"llm_model\":\"gpt-4o\",\r\n \"metrics\":[\"semantic_similarity\", \"context_precision\", \"answer_relevancy\"],\r\n \"dataset_size\":40,\r\n \"dataset_id\":\"11b2d36a-4f00-40d2-bbe7-e614f4a77f1f\",\r\n \"avg_metrics\":{\r\n \"semantic_similarity\":0,85,\r\n \"context_precision\":0,99,\r\n \"answer_relevancy\":0,90,\r\n }\r\n}\r\n<\/pre>\nUma tabela de an\u00e1lise de qualidade de m\u00e9trica pode nos ajudar a analisar o desempenho do agente geral em todo o conjunto de dados de avalia\u00e7\u00e3o, usando um limite para cada m\u00e9trica e o n\u00famero de pontos de dados que produziram uma pontua\u00e7\u00e3o acima do limite determinado.<\/p>\n
\n\n\nS.No<\/strong><\/td>\nM\u00e9trico<\/strong><\/td>\nLimite<\/strong><\/td>\nAmostras acima do limite<\/strong><\/td>\nN\u00famero total de amostras<\/strong><\/td>\nPrecis\u00e3o (%)<\/strong><\/td>\n<\/tr>\n\n| 1<\/td>\n | Similaridade sem\u00e2ntica<\/td>\n | 0.70<\/td>\n | 40<\/td>\n | 40<\/td>\n | 100.00<\/td>\n<\/tr>\n | \n| 2<\/td>\n | Precis\u00e3o de contexto<\/td>\n | 0.90<\/td>\n | 40<\/td>\n | 40<\/td>\n | 100.00<\/td>\n<\/tr>\n | \n| 3<\/td>\n | Relev\u00e2ncia da resposta<\/td>\n | 0.70<\/td>\n | 37<\/td>\n | 40<\/td>\n | 92.50<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n Em nossa avalia\u00e7\u00e3o, o NL2SQL++ demonstrou consistentemente um bom desempenho, com todas as 40 amostras de teste atingindo pontua\u00e7\u00f5es de similaridade sem\u00e2ntica e precis\u00e3o de contexto acima do limite predefinido. Isso indica que a ferramenta captura de forma confi\u00e1vel a inten\u00e7\u00e3o do usu\u00e1rio e traduz com precis\u00e3o as consultas em linguagem natural para SQL estruturado.<\/p>\n O LLM respons\u00e1vel pela gera\u00e7\u00e3o das respostas finais tamb\u00e9m teve um desempenho excepcional. Enquanto 37 das 40 respostas excederam o limite da m\u00e9trica, as 3 restantes ficaram um pouco abaixo. Essa pequena varia\u00e7\u00e3o \u00e9 esperada, pois os LLMs geram inerentemente novas sequ\u00eancias de tokens em vez de replicar o conte\u00fado de refer\u00eancia linha por linha. Apesar desses desvios, o modelo manteve a alta precis\u00e3o das respostas em todos os aspectos e, se n\u00e3o tivesse feito isso, ter\u00edamos observado quedas m\u00e9tricas mais significativas.<\/p>\n Relat\u00f3rios detalhados de experimentos est\u00e3o dispon\u00edveis para inspecionar amostras individuais, inclusive aquelas que n\u00e3o atingiram o limite, fornecendo informa\u00e7\u00f5es sobre o quanto elas se desviaram e os poss\u00edveis motivos.<\/p>\n Conclus\u00e3o<\/h2>\nEssa estrutura foi criada com o requisito principal de fornecer aos usu\u00e1rios um m\u00e9todo persistente para avaliar sistemas de IA em v\u00e1rios dom\u00ednios e casos de uso, simplificando a avalia\u00e7\u00e3o por meio do uso de um formato consistente para os dados, automatizando o tratamento de dados e criando cen\u00e1rios de exemplo nos quais \u00e9 dif\u00edcil coletar dados reais. Ele tamb\u00e9m rastreia cada etapa realizada por um agente, o que ajuda quando v\u00e1rios agentes trabalham juntos. No futuro, esperamos que essas ferramentas continuem melhorando, atualizando os casos de teste \u00e0 medida que as necessidades do mundo real mudam, gerando relat\u00f3rios f\u00e1ceis de entender para todos e incluindo verifica\u00e7\u00f5es para detectar tend\u00eancias ou comportamentos inseguros. Com isso, podemos garantir que os agentes de IA permane\u00e7am confi\u00e1veis, transparentes e, o mais importante, alinhados com as necessidades dos desenvolvedores.<\/p>","protected":false},"excerpt":{"rendered":" Agents and agentic pipelines are being built and released at an accelerated pace like never before. But how can we determine how good they are? Why evaluating AI agents matter Think of an AI agent like a fitness tracker. The […]<\/p>","protected":false},"author":85664,"featured_media":17402,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"inline_featured_image":false,"footnotes":""},"categories":[10122,3917,10133],"tags":[],"ppma_author":[10141],"class_list":["post-17397","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-artificial-intelligence-ai","category-company","category-engineering"],"acf":[],"yoast_head":"\n Evaluating Agentic AI Workflows - The Couchbase Blog<\/title>\n<meta name=\"description\" content=\"Evaluating an agent requires a systematic approach to ensure your model is accurate, reliable, and robust. We show how to do it!\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www.couchbase.com\/blog\/pt\/evaluating-agentic-ai-workflows\/\" \/>\n<meta property=\"og:locale\" content=\"pt_BR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Evaluating Agentic AI Workflows\" \/>\n<meta property=\"og:description\" content=\"Evaluating an agent requires a systematic approach to ensure your model is accurate, reliable, and robust. We show how to do it!\" \/>\n<meta property=\"og:url\" content=\"https:\/\/www.couchbase.com\/blog\/pt\/evaluating-agentic-ai-workflows\/\" \/>\n<meta property=\"og:site_name\" content=\"The Couchbase Blog\" \/>\n<meta property=\"article:published_time\" content=\"2025-08-06T19:55:28+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2025-10-21T20:06:50+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/08\/blog-evaluating-agentic-ai-workflows.png\" \/>\n\t<meta property=\"og:image:width\" content=\"2400\" \/>\n\t<meta property=\"og:image:height\" content=\"1256\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Goutham Krishnan - Software Engineer\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Written by\" \/>\n\t<meta name=\"twitter:data1\" content=\"Goutham Krishnan - Software Engineer\" \/>\n\t<meta name=\"twitter:label2\" content=\"Est. reading time\" \/>\n\t<meta name=\"twitter:data2\" content=\"16 minutos\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/#article\",\"isPartOf\":{\"@id\":\"https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/\"},\"author\":{\"name\":\"Goutham Krishnan - Software Engineer\",\"@id\":\"https:\/\/www.couchbase.com\/blog\/#\/schema\/person\/8a8eb64ed80d85c760d35a1d2789d6b4\"},\"headline\":\"Evaluating Agentic AI Workflows\",\"datePublished\":\"2025-08-06T19:55:28+00:00\",\"dateModified\":\"2025-10-21T20:06:50+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/\"},\"wordCount\":3404,\"commentCount\":0,\"publisher\":{\"@id\":\"https:\/\/www.couchbase.com\/blog\/#organization\"},\"image\":{\"@id\":\"https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/#primaryimage\"},\"thumbnailUrl\":\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/08\/blog-evaluating-agentic-ai-workflows.png\",\"articleSection\":[\"Artificial Intelligence (AI)\",\"Company\",\"Engineering\"],\"inLanguage\":\"pt-BR\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/#respond\"]}]},{\"@type\":\"WebPage\",\"@id\":\"https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/\",\"url\":\"https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/\",\"name\":\"Evaluating Agentic AI Workflows - The Couchbase Blog\",\"isPartOf\":{\"@id\":\"https:\/\/www.couchbase.com\/blog\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/#primaryimage\"},\"image\":{\"@id\":\"https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/#primaryimage\"},\"thumbnailUrl\":\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/08\/blog-evaluating-agentic-ai-workflows.png\",\"datePublished\":\"2025-08-06T19:55:28+00:00\",\"dateModified\":\"2025-10-21T20:06:50+00:00\",\"description\":\"Evaluating an agent requires a systematic approach to ensure your model is accurate, reliable, and robust. We show how to do it!\",\"breadcrumb\":{\"@id\":\"https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/#breadcrumb\"},\"inLanguage\":\"pt-BR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-BR\",\"@id\":\"https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/#primaryimage\",\"url\":\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/08\/blog-evaluating-agentic-ai-workflows.png\",\"contentUrl\":\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/08\/blog-evaluating-agentic-ai-workflows.png\",\"width\":2400,\"height\":1256,\"caption\":\"Why Evaluating AI Agents Matter\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\/\/www.couchbase.com\/blog\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Evaluating Agentic AI Workflows\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/www.couchbase.com\/blog\/#website\",\"url\":\"https:\/\/www.couchbase.com\/blog\/\",\"name\":\"The Couchbase Blog\",\"description\":\"Couchbase, the NoSQL Database\",\"publisher\":{\"@id\":\"https:\/\/www.couchbase.com\/blog\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/www.couchbase.com\/blog\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"pt-BR\"},{\"@type\":\"Organization\",\"@id\":\"https:\/\/www.couchbase.com\/blog\/#organization\",\"name\":\"The Couchbase Blog\",\"url\":\"https:\/\/www.couchbase.com\/blog\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-BR\",\"@id\":\"https:\/\/www.couchbase.com\/blog\/#\/schema\/logo\/image\/\",\"url\":\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/2023\/04\/admin-logo.png\",\"contentUrl\":\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/2023\/04\/admin-logo.png\",\"width\":218,\"height\":34,\"caption\":\"The Couchbase Blog\"},\"image\":{\"@id\":\"https:\/\/www.couchbase.com\/blog\/#\/schema\/logo\/image\/\"}},{\"@type\":\"Person\",\"@id\":\"https:\/\/www.couchbase.com\/blog\/#\/schema\/person\/8a8eb64ed80d85c760d35a1d2789d6b4\",\"name\":\"Goutham Krishnan - Software Engineer\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-BR\",\"@id\":\"https:\/\/www.couchbase.com\/blog\/#\/schema\/person\/image\/70e17f9875a6a1f039900f26e5792aea\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/0dab894f8141839723a5f0cbb12a4db009ff38a7b17897c589f084c56cbd60df?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/0dab894f8141839723a5f0cbb12a4db009ff38a7b17897c589f084c56cbd60df?s=96&d=mm&r=g\",\"caption\":\"Goutham Krishnan - Software Engineer\"},\"url\":\"https:\/\/www.couchbase.com\/blog\/pt\/author\/gouthamkrishnan\/\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Evaluating Agentic AI Workflows - The Couchbase Blog","description":"A avalia\u00e7\u00e3o de um agente requer uma abordagem sistem\u00e1tica para garantir que seu modelo seja preciso, confi\u00e1vel e robusto. N\u00f3s mostramos como fazer isso!","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www.couchbase.com\/blog\/pt\/evaluating-agentic-ai-workflows\/","og_locale":"pt_BR","og_type":"article","og_title":"Evaluating Agentic AI Workflows","og_description":"Evaluating an agent requires a systematic approach to ensure your model is accurate, reliable, and robust. We show how to do it!","og_url":"https:\/\/www.couchbase.com\/blog\/pt\/evaluating-agentic-ai-workflows\/","og_site_name":"The Couchbase Blog","article_published_time":"2025-08-06T19:55:28+00:00","article_modified_time":"2025-10-21T20:06:50+00:00","og_image":[{"width":2400,"height":1256,"url":"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/08\/blog-evaluating-agentic-ai-workflows.png","type":"image\/png"}],"author":"Goutham Krishnan - Software Engineer","twitter_card":"summary_large_image","twitter_misc":{"Written by":"Goutham Krishnan - Software Engineer","Est. reading time":"16 minutos"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/#article","isPartOf":{"@id":"https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/"},"author":{"name":"Goutham Krishnan - Software Engineer","@id":"https:\/\/www.couchbase.com\/blog\/#\/schema\/person\/8a8eb64ed80d85c760d35a1d2789d6b4"},"headline":"Evaluating Agentic AI Workflows","datePublished":"2025-08-06T19:55:28+00:00","dateModified":"2025-10-21T20:06:50+00:00","mainEntityOfPage":{"@id":"https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/"},"wordCount":3404,"commentCount":0,"publisher":{"@id":"https:\/\/www.couchbase.com\/blog\/#organization"},"image":{"@id":"https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/#primaryimage"},"thumbnailUrl":"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/08\/blog-evaluating-agentic-ai-workflows.png","articleSection":["Artificial Intelligence (AI)","Company","Engineering"],"inLanguage":"pt-BR","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/#respond"]}]},{"@type":"WebPage","@id":"https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/","url":"https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/","name":"Evaluating Agentic AI Workflows - The Couchbase Blog","isPartOf":{"@id":"https:\/\/www.couchbase.com\/blog\/#website"},"primaryImageOfPage":{"@id":"https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/#primaryimage"},"image":{"@id":"https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/#primaryimage"},"thumbnailUrl":"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/08\/blog-evaluating-agentic-ai-workflows.png","datePublished":"2025-08-06T19:55:28+00:00","dateModified":"2025-10-21T20:06:50+00:00","description":"A avalia\u00e7\u00e3o de um agente requer uma abordagem sistem\u00e1tica para garantir que seu modelo seja preciso, confi\u00e1vel e robusto. N\u00f3s mostramos como fazer isso!","breadcrumb":{"@id":"https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/#breadcrumb"},"inLanguage":"pt-BR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/"]}]},{"@type":"ImageObject","inLanguage":"pt-BR","@id":"https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/#primaryimage","url":"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/08\/blog-evaluating-agentic-ai-workflows.png","contentUrl":"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/08\/blog-evaluating-agentic-ai-workflows.png","width":2400,"height":1256,"caption":"Why Evaluating AI Agents Matter"},{"@type":"BreadcrumbList","@id":"https:\/\/www.couchbase.com\/blog\/evaluating-agentic-ai-workflows\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/www.couchbase.com\/blog\/"},{"@type":"ListItem","position":2,"name":"Evaluating Agentic AI Workflows"}]},{"@type":"WebSite","@id":"https:\/\/www.couchbase.com\/blog\/#website","url":"https:\/\/www.couchbase.com\/blog\/","name":"Blog do Couchbase","description":"Couchbase, o banco de dados NoSQL","publisher":{"@id":"https:\/\/www.couchbase.com\/blog\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www.couchbase.com\/blog\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"pt-BR"},{"@type":"Organization","@id":"https:\/\/www.couchbase.com\/blog\/#organization","name":"Blog do Couchbase","url":"https:\/\/www.couchbase.com\/blog\/","logo":{"@type":"ImageObject","inLanguage":"pt-BR","@id":"https:\/\/www.couchbase.com\/blog\/#\/schema\/logo\/image\/","url":"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/2023\/04\/admin-logo.png","contentUrl":"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/2023\/04\/admin-logo.png","width":218,"height":34,"caption":"The Couchbase Blog"},"image":{"@id":"https:\/\/www.couchbase.com\/blog\/#\/schema\/logo\/image\/"}},{"@type":"Person","@id":"https:\/\/www.couchbase.com\/blog\/#\/schema\/person\/8a8eb64ed80d85c760d35a1d2789d6b4","name":"Goutham Krishnan - Engenheiro de software","image":{"@type":"ImageObject","inLanguage":"pt-BR","@id":"https:\/\/www.couchbase.com\/blog\/#\/schema\/person\/image\/70e17f9875a6a1f039900f26e5792aea","url":"https:\/\/secure.gravatar.com\/avatar\/0dab894f8141839723a5f0cbb12a4db009ff38a7b17897c589f084c56cbd60df?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/0dab894f8141839723a5f0cbb12a4db009ff38a7b17897c589f084c56cbd60df?s=96&d=mm&r=g","caption":"Goutham Krishnan - Software Engineer"},"url":"https:\/\/www.couchbase.com\/blog\/pt\/author\/gouthamkrishnan\/"}]}},"authors":[{"term_id":10141,"user_id":85664,"is_guest":0,"slug":"gouthamkrishnan","display_name":"Goutham Krishnan - Software Engineer","avatar_url":"https:\/\/secure.gravatar.com\/avatar\/0dab894f8141839723a5f0cbb12a4db009ff38a7b17897c589f084c56cbd60df?s=96&d=mm&r=g","author_category":"1","last_name":"Krishnan - Software Engineer","first_name":"Goutham","job_title":"","user_url":"","description":""}],"_links":{"self":[{"href":"https:\/\/www.couchbase.com\/blog\/pt\/wp-json\/wp\/v2\/posts\/17397","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.couchbase.com\/blog\/pt\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.couchbase.com\/blog\/pt\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.couchbase.com\/blog\/pt\/wp-json\/wp\/v2\/users\/85664"}],"replies":[{"embeddable":true,"href":"https:\/\/www.couchbase.com\/blog\/pt\/wp-json\/wp\/v2\/comments?post=17397"}],"version-history":[{"count":0,"href":"https:\/\/www.couchbase.com\/blog\/pt\/wp-json\/wp\/v2\/posts\/17397\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.couchbase.com\/blog\/pt\/wp-json\/wp\/v2\/media\/17402"}],"wp:attachment":[{"href":"https:\/\/www.couchbase.com\/blog\/pt\/wp-json\/wp\/v2\/media?parent=17397"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.couchbase.com\/blog\/pt\/wp-json\/wp\/v2\/categories?post=17397"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.couchbase.com\/blog\/pt\/wp-json\/wp\/v2\/tags?post=17397"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/www.couchbase.com\/blog\/pt\/wp-json\/wp\/v2\/ppma_author?post=17397"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}} | | | | | | |
![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/08\/image2-1024x425.png\")
![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/08\/image3-1024x570.png\")
![\"\"](\"https:\/\/www.couchbase.com\/blog\/wp-content\/uploads\/sites\/1\/2025\/08\/image1-1024x633.png\")