No ambiente acelerado de hoje, a capacidade de acessar, compreender e agir rapidamente sobre os dados não é mais um luxo, é uma necessidade. No entanto, muitas organizações descobrem que, embora sejam ricas em dados, extrair insights oportunos e acionáveis continua sendo um desafio significativo, particularmente para usuários de negócios não técnicos.
Além disso, os usuários técnicos precisam entender seus dados para saber quais consultas construir para obter os resultados, o que exige muito tempo e esforço e não está a apenas um clique de distância, permitindo que o usuário pergunte o que quiser em linguagem natural simples.
Além disso, o usuário ainda precisa gastar tempo entendendo os dados, mesmo com visualizações em vigor. Muitas vezes há uma dúvida sobre o “porquê” quando os dados são apresentados, e dados sem o crucial “porquê” deixam uma lacuna entre a apresentação dos dados e a verdadeira compreensão. Em essência, o self-service de business analytics continua elusivo.
O que é a Polaris?
Polaris é uma interface conversacional alimentada por IA multi-agente construída para analisar dados em nosso banco de dados operacional Couchbase. O Polaris aproveita uma arquitetura multi-agente que permite aos usuários interagir com seus dados corporativos por meio de uma interface intuitiva e conversacional, transformando análises de dados complexas em um diálogo simples. Por exemplo, se uma empresa possui dados globais de vendas corporativas em várias regiões e linhas de produtos, e um analista de negócios deseja entender “Por que as vendas do segundo trimestre diminuíram na região Nordeste para o Produto X?”, nosso aplicativo pode executar autonomamente todo o fluxo de trabalho de análise.
Ele recupera e filtra dados de vendas relevantes por região, produto e período de tempo, compara tendências de desempenho entre regiões ou produtos comparáveis, visualiza padrões e anomalias importantes e gera um relatório narrativo resumindo as causas raiz, como redução de gastos com promoções, problemas de disponibilidade de estoque ou uma mudança no comportamento do cliente. Para tornar tudo ainda mais interessante, o analista de negócios pode fazer uma pergunta de acompanhamento para entender, em detalhes, alguma parte do relatório ou talvez pedir mais visualizações, etc., permitindo assim uma tomada de decisão rápida baseada em dados.
Agora, vamos abordar o elefante na sala – os Agentes de IA.
O que são Agentes de IA e quais são as suas capacidades?
Agentes de IA são sistemas autônomos impulsionados por inteligência artificial, envolvendo tipicamente Módulos de Grande Linguagem (LLMs) que podem realizar tarefas, tomar decisões e interagir com ambientes do mundo real, muitas vezes sem supervisão humana constante. Ao contrário de chatbots tradicionais ou programas baseados em regras, os agentes de IA também aprendem com sua experiência. O objetivo de um agente é fazer tudo o que um operador humano faz de forma autônoma e automática. Ainda é uma meta distante, mas a indústria de IA está progredindo em direção a ela. Agora, vamos analisar as capacidades dos Agentes de IA:
Plano do Agente: Resolução de Problemas Passo a Passo
Os agentes de IA dividem tarefas complexas em etapas claras e gerenciáveis — identificando o problema, executando cada fase e se ajustando conforme necessário. Em sistemas multi-agentes, cada agente pode assumir uma tarefa específica, permitindo uma resolução de problemas eficiente e coordenada.
Consciência de Contexto: Gerenciamento de Memória e Rastreamento de Estado
Os agentes mantêm o contexto entre as interações, lembrando-se de entradas passadas e adaptando-se a fluxos de trabalho em andamento. Esse rastreamento de estado cria experiências de usuário mais naturais, consistentes e inteligentes.
Uso de Ferramentas: Estendendo as Capacidades dos Agentes
Os agentes podem interagir com ferramentas externas — APIs, bancos de dados, scripts — para realizar ações reais, não apenas oferecer sugestões. Isso os transforma de assistentes passivos em executores ativos dentro de fluxos de trabalho.
Aprender com Dados Passados: Adaptando-se ao Longo do Tempo
Ao analisar dados históricos e comportamento, os agentes melhoram com o tempo — antecipando as necessidades do usuário, refinando respostas e otimizando fluxos de trabalho com base nos padrões de uso.
O que é um sistema multi-agente (MAS)?
Arquitetura Multiagente é um design de sistema onde múltiplos agentes independentes trabalham juntos para resolver problemas ou executar tarefas. Cada agente tem seu próprio papel, como coletar dados, analisar informações ou tomar decisões. Esses agentes se comunicam e colaboram para alcançar um objetivo comum, tornando o sistema mais organizado; isso é exatamente como uma equipe onde cada membro faz um trabalho específico, mas todos trabalham em direção ao mesmo resultado! Nós fizemos uso da Arquitetura Multiagente para o Polaris.
Por que a mudança na arquitetura de agente único?
Um único agente de IA opera de forma independente, lidando com tarefas específicas autonomamente. Isso funciona bem para aplicações diretas, como um sistema de Geração Aumentada por Recuperação (RAG), onde um agente responde a consultas de usuários com base em um LLM e em uma base de conhecimento. No entanto, em aplicações práticas, as interações dos usuários raramente são simples. Elas frequentemente envolvem lógica complexa, raciocínio em várias etapas e a necessidade de trabalhar em modelos de dados dinâmicos e requisitos de negócios em evolução. Nesse ponto, os sistemas de agente único começam a atingir limites de desempenho e escalabilidade. Eles podem falhar ao encadear múltiplas operações, adaptar-se a mudanças de esquema ou coordenar fluxos de trabalho sutis.
Por que as Arquiteturas Multi-Agente (MAS) funcionam?
A separação de conceitos inerente ao projeto de sistemas multi-agente (MAS) resulta em sistemas mais robustos e fáceis de manter. Cada agente foca em sua tarefa específica, reduzindo a complexidade e facilitando a identificação e resolução de problemas. Essa abordagem brilha em cenários como o controle de veículos autônomos, onde agentes separados lidam com a navegação, detecção de obstáculos e dinâmica do veículo, permitindo um desenvolvimento e solução de problemas focados em cada área.
Supervisor vs Sistemas Multiagentes em Rede
Um supervisor central controla a atribuição de tarefas e monitora subagentes, que possuem autonomia limitada. Isso permite um gerenciamento mais fácil, decisões otimizadas e resolução de conflitos. No entanto, é propenso a falhas de ponto único e tem dificuldades com a escalabilidade. A flexibilidade é limitada em ambientes dinâmicos ou em rápida mudança.
Arquitetura Descentralizada (Ponto a Ponto) de Múltiplos Agentes
Os agentes agem de forma independente, e todos os agentes têm a capacidade de interagir entre si. Ele escala bem e é resiliente a falhas, mas carece de supervisão centralizada. Isso leva a uma coordenação complexa, maior overhead de comunicação e desafios na resolução de conflitos, sendo também mais difícil garantir a coerência global.
Escolhemos: Arquitetura Baseada em Supervisor
Nosso aplicativo faz uso do Agente Supervisor do LangGraph:
- Raciocínio centralizado, consistência e coerência
- O raciocínio complexo se beneficia de ter uma visão global dos dados, da intenção do usuário e do contexto. O supervisor pode manter uma lógica coerente em várias etapas.
- Um único ponto de tomada de decisão garante que os resultados estejam alinhados (por exemplo, o gráfico corresponde à explicação, o resumo reflete a análise).
- O controle central permite a alocação dinâmica de tarefas para subagentes especializados (por exemplo, gerador de gráficos, agente de consulta). Evita aduplicação de esforço e otimiza o uso de recursos.
- Tratamento de erros, recuperação e escalabilidade mais fáceis
- Erros podem ser detectados e gerenciados de forma centralizada. O supervisor pode tentar novamente as tarefas, reatribuir funções ou gerar respostas de contingência.
- O controle central permite a alocação dinâmica de tarefas para subagentes especializados (por exemplo, gerador de gráficos, agente de consulta). Evita aduplicação de esforço e otimiza o uso de recursos.
- Mais fácil adicionar, substituir ou atualizar subagentes sem redesenhar o sistema inteiro.
Núcleo Polaris
Em sua essência, o Polaris faz uso de uma rede de agentes de IA especializados, cada um otimizado para diferentes aspectos do ciclo de vida da interação de dados. Agora, vamos entender quais são os componentes e a arquitetura geral de múltiplos agentes de alto nível do Polaris com a ajuda de um exemplo:
Compreensão e orquestração: Agente Supervisor
A Agente Supervisor atua como o controlador central e o orquestrador inteligente do sistema multi-agente.
Funções:
- Análise de Intenção: Analisar a entrada do usuário e extrair intenções e parâmetros relacionados a tarefas.
- Exemplo: O usuário pergunta: “Por que as vendas totais de eletrônicos no 1º trimestre de 2024 caíram na região da APAC.” O Agente Supervisor analisa isso para identificar Intenção: “Razão - análise causal para queda nas vendas”, Categoria de Produto: “Eletrônicos”, Período de Tempo: “1º trimestre de 2024”, Região: “APAC”.
- Lógica de Roteamento de Agentes: Implementa um mecanismo de decisão ou camada de orquestração baseada em regras para direcionar tarefas aos agentes apropriados.
- Com base na intenção analisada “análise causal para queda nas vendas”, o Agente Supervisor decide primeiro encaminhar a tarefa para o Especialista em Consultas para buscar dados de vendas, depois para o Especialista em Gráficos para visualização, em seguida para o agente de raciocínio para identificação causal e, finalmente, para o Especialista em Relatórios para resumo.
- Gerenciamento de Contexto: Mantém o contexto e o estado da conversa global.
- Tratamento de Erros e Recuperação: Monitora o sucesso/falha de tarefas e pode reatribuir ou reformular subtarefas com base no feedback do agente.
- Exemplo: Se o Especialista em Consultas relatar que a coluna solicitada, Tipo_de_Produto, não existe no esquema, o Agente Supervisor pode redirecionar a solicitação para o Especialista em Raciocínio para sugerir colunas relevantes alternativas ou informar o usuário sobre os dados ausentes.
Extração de dados relevantes: Especialista em Consulta
O Especialista de Consulta traduz perguntas em linguagem natural para SQL++, buscando assim os dados necessários.
Funções:
- Inferência de Esquema e Anotações: Infere o esquema de dados usando o comando SQL++ INFER, que busca os nomes das colunas, o tipo de dado das colunas e documentos de amostra; isso, junto com a ajuda de anotações, ajuda a entender os dados, relacionamentos de tabelas, tipos de dados e restrições.
- Quando o SQL++ INFER é executado em uma coleção, ele pode identificar um campo simplesmente como “amount”: NÚMERO. Sem mais contexto, o Especialista em Consultas não saberia se isso se refere a valor_da_venda, valor_do_desconto, ou quantidade. No entanto, por meio de anotações, é explicitamente dito ao Polaris: “quantidade” campo em ‘vendas corporativas‘ a coleção representa ‘valor total de vendas‘ para uma transação. Esta anotação é crucial porque quando o usuário pergunta “vendas totais“, o Query Expert agora mapeia com segurança vendas para o quantidade campo, gerando corretamente SOMA(amount).
- Canonicalização de Entrada: Transforma a entrada de linguagem natural original do usuário em uma forma mais detalhada, inequívoca e estruturada. Isso ajuda a ferramenta IQ a compreender melhor a tarefa.
- Exemplo: Entrada do usuário: “vendas no mês passado.” Entrada canonizada: “Recuperar o valor total de vendas para a categoria “Eletrônicos” nos últimos 30 dias a partir da data atual.“
- Tradução de NL para SQL++: Chamada para a ferramenta IQ para converter NL em SQL++
- Verificações de Qualidade de Dados e Recuperação de Erros: o agente inspeciona em busca de valores nulos e outros problemas de integridade de dados que possam afetar a interpretação. Se a qualidade dos dados for baixa (por exemplo, todos nulos em uma coluna), o agente reformula a consulta ou retorna um aviso para intervenção do usuário. Com base no diagnóstico de erros, o agente ajusta automaticamente a consulta (por exemplo, corrige nomes de colunas ou limita o tamanho dos resultados) e tenta a execução novamente de forma inteligente.
- Exemplo: Se o valor_da_venda column might contain nulls, the Query Expert automatically adds: AND sale_amount IS NOT NULL to the generated query to ensure accurate sum calculations.
Insight generation: Charting Expert
Responsible for converting structured query results into meaningful visual representations, tailored to the nature of the data and user query.
Funções:
- Chart Selection Logic: Uses rule-based heuristics to select appropriate chart types based on data characteristics (e.g., dimensions, metrics, time series).
- Example: Based on the rules given in the prompt and the type of data, the expert will choose an appropriate chart, for example if it is sales and time series data where we need to identify some trend, it will select a line chart.
- Dynamic Visualization Generation: Constructs visualizations using libraries like Plotly and Seaborn.
Reporting and summarization: Report Expert
Compiles insights, visualizations, and context into structured reports.
Funções:
- Content Aggregation: Automatically summarizes query results, embeds visualizations, the methodology and includes metadata (e.g., data sources, query parameters).
- Versioning & Audit Logs: Optionally integrates version control and logging for compliance and traceability of generated reports.
Explanation and reasoning: Reasoning Expert
Provides causal reasoning, trend analysis, and hypothesis generation by interpreting data insights through the lens of domain knowledge and logical inference.
Funções:
- LLM-based Reasoning: Leverages LLMs to reason over data results, uncover latent patterns, and generate explanatory narratives.
- Contextual Augmentation: Utilizes domain-specific knowledge extracted from the user’s database to provide grounded explanations.
Workflow
The Polaris platform is designed to turn natural language questions into intelligent, multi-modal insights by orchestrating a team of specialized agents. Here’s how the workflow unfolds:
- Polaris System Initialization
The user begins by selecting the relevant bucket, scope, collection, and metadata collection. Based on this context, Polaris initializes specialized agents and uses the schema, metadata, and sample data to prompt an LLM, which generates example questions to guide user exploration.
- Natural Language Interaction
Users interact with Polaris through a simple chat interface, posing questions in natural language. This removes the need for manual query writing or schema exploration.
- Intelligent Query Processing
High-Level Design Diagram - A Query Expert handles core data access tasks: inferring the schema, translating the natural language query into SQL++ using a generator tool, and executing the query.
- Tools supporting the Query Expert include the Schema Inference Tool, SQL++ Generator Tool, e Query Execution Tool.
- Multi-Faceted Response Generation
Based on the results of the initial query, the Supervisor coordinates:- A Charting Expert, which creates data visualizations via a Chart Generator Tool.
- A Report Expert, responsible for generating textual summaries using a Report Generator Tool.
- A Reasoning Expert, which adds context, rationale, or further explanations to enrich the response.
- Comprehensive Insight Delivery
Polaris synthesizes the structured query results, visual outputs, and narrative explanations into a cohesive, user-friendly response. This multi-modal insight is delivered back through the chat interface, combining clarity, depth, and interactivity. - Iterative Exploration
Users are encouraged to ask follow-up questions. Since the system retains context and state across the session, the agent network can build on previous interactions to support deep, iterative data exploration.
Usage of ReAct agents
What is a ReAct agent?
“A ReAct agent is an AI agent that uses the “reasoning and acting” (ReAct) framework to combine chain of thought (CoT) reasoning with external tool use. The ReAct framework improves the ability of a large language model (LLM) to handle complex tasks and decision-making in agentic workflows.”—Dave Bergmann, IBM
Unlike traditional Artificial Intelligence (AI) systems, ReAct agents don’t separate decision-making from task execution. This framework inherently creates a feedback loop in which the model problem-solves by iteratively repeating this interleaved thought-action-observation process. We use the inbuilt LangGraph ReAct framework in our application, and each of the expert is modeled as a ReAct agent.
The unseen architects: the power of efficient prompts in AI-driven data analysis
In the realm of data analysis, the spotlight often shines on algorithms, statistical models, and visualization techniques. However, behind every insightful chart, every well-structured report, and every data-driven conclusion lies a crucial , unseen aspect: the prompt.
To-Do List Prompting
To-do list prompting gives the model a persistent, structured task list that it refers to at every step. Instead of relying on memory or previous messages, the full plan is injected into each prompt. Therefore the agent has a clear understanding of all tasks it has to check off . This prevents drifting, repetition, or skipping steps.
Identity Prompting
Identity prompting tells the model what it is, not just what it should do. This establishes a consistent role or persona that influences how the model behaves and responds. Prompts like “You are very proficient in data visualization tasks.” can instantly trigger domain-specific behavior—clear, confident, and focused responses.
Self-Reflection Prompting
Self-reflection prompting instructs the model to evaluate its own output after completing a task. This allows the model to introspect and verify whether it has met the user’s goal, and make corrections if needed. In our application, we’ve implemented self-reflection prompting within the Query Expert agent. After the SQL query is generated and executed the agent checks if all required data points are present.
Prompting is more of an art than a science—there’s no one-size-fits-all formula. However, by applying proven heuristics and clear task framing, we can guide models toward more accurate, useful, and context-aware outputs. The key is experimentation, iteration, and learning what works best in your specific application.
Demo of Polaris, the multi-agent conversational interface
Challenges and future work
Polaris represents a paradigm shift in how organizations can harness their data assets, especially through natural language interactions – enabling intuitive data discovery and significantly accelerating decision-making. A major advancement has been our development of a dynamic multi-agent architecture that adapts its approach based on the context and can work with diverse datasets.
However, several challenges remain. One key area has been managing data annotations. Ensuring consistent and meaningful annotations across varied columns is critical to maintaining the quality of insights generated by AI agents. We could explore integrating with a global data catalog to make this easier. Another significant challenge is data cleanliness, while we mitigate some of these issues at the query level through conditional clauses and basic data cleaning—there is still room for improvement in upstream data validation and preprocessing.
Additionally, handling large-scale data retrieval has been a technical hurdle. In real-world scenarios, retrieved datasets often exceed the context window limits of current large language models. To address this, we perform aggregation operations and generate visual summaries such as charts to provide high-level insights without overwhelming the model.
Looking ahead, future work will focus on enhancing annotation pipelines, improving data quality management, and exploring more efficient methods of summarization and multi-turn agent collaboration to scale Polaris even further.
Conclusion: ushering in a new era of data interaction
Polaris is more than just a new tool,by combining the power of a multi-agent AI system with the simplicity of natural language conversation, Polaris democratizes data access, empowers business users, and accelerates the journey from data to decision. We believe Polaris will unlock significant value for our customers, fostering a more agile, data-informed, and competitive enterprise.
Deixe um comentário
Você precisa fazer o login para publicar um comentário.