Couchbase Apresenta Serviços de IA do Capella para Agilizar o Desenvolvimento de Agentes

TLDR: Couchbase anuncia novos serviços de IA na plataforma de dados para desenvolvedores Capella para criar e operar de forma eficiente e eficaz Agentes impulsionados por GenAI. Estes serviços incluem o Serviço de Modelo para hospedagem privada e segura de LLMs de código aberto, o Serviço de Dados Não Estruturados para o processamento de PDFs e imagens para ingestão, o Serviço de Vetorização para streaming em tempo real, armazenamento e indexação de embeddings vetoriais, um Catálogo de Agentes fornecendo uma estrutura extensiva para ajudar desenvolvedores a adicionar novos recursos à pilha de agentes, e Funções de IA para enriquecer dados usando o poder dos LLMs, coletar artefatos de dados importantes gerados por agentes e estabelecer barreiras de proteção para operações em evolução conforme os LLMs e os agentes se desenvolvem.

Apresentando os Serviços de IA Capella

O Couchbase tem o prazer de anunciar uma série de novos serviços de IA que aprimorarão o Plataforma Capella para auxiliar desenvolvedores na criação e implantação Impulsionado por GenAI agentes e aplicações agênticas. Agentes são programas autônomos projetados para usar interações em linguagem natural para realizar tarefas ou resolver problemas, tomando decisões com base em dados, trocas conversacionais com grandes modelos de linguagem e contexto ambiental — tudo sem intervenção humana. 

Os agentes não apenas processarão entradas textuais, mas também incorporarão informações visuais e de áudio na execução de suas tarefas. Os Serviços de IA da Capella ajudarão os desenvolvedores em muitas das etapas de processamento de dados necessárias ao usar técnicas de geração aumentada por recuperação (RAG) e aproveitarão a infinidade de ferramentas e estruturas dentro do ecossistema RAG para interagir de forma eficaz com grandes modelos de linguagem. Além disso, esses serviços apoiarão arquitetos e equipes de DevOps no gerenciamento da operação de agentes ao longo do tempo.

Novos Serviços de IA da Capella

• Serviço de ModeloHospedagem de modelos de linguagem externos, locais e embutidos para minimizar latências de processamento, aproximando os modelos dos dados e de seu consumo. Essa abordagem ajuda a mitigar riscos de privacidade, consistência e compartilhamento de dados, garantindo que os dados nunca deixem a VPC do cliente. O Capella hospedará modelos do Mistral e do Llama3.
• Serviço de Vetorização: Para criar, transmitir, armazenar e pesquisar embeddings vetoriais para aprimorar a qualidade e a precisão da conversação, e facilitar contextos de interação contínuos à medida que os LLMs evoluem e podem perder o contexto.  
• Serviço de Dados Não Estruturados: Transforma dados não estruturados, como documentos de texto, PDFs e tipos de mídia, como imagens e gravações, em “fragmentos” de informações semânticas legíveis (por exemplo, frases e parágrafos) para gerar vetores utilizáveis. Esta etapa de pré-processamento amplia o leque de casos de uso que os agentes podem suportar.
• Catálogo de Agentes: Acelera o desenvolvimento de aplicações baseadas em agentes com um repositório centralizado para ferramentas, metadados, prompts e informações de auditoria para gerenciar o fluxo de LLMs, rastreabilidade e governança. Também automatiza a descoberta de ferramentas de agentes relevantes para responder a perguntas dos usuários e aplica mecanismos de segurança (guardrails) para trocas consistentes entre agentes ao longo do tempo.
• Funções de IA: Aumente a produtividade dos desenvolvedores integrando a análise de dados orientada por IA diretamente nos fluxos de trabalho de aplicativos, usando a sintaxe familiar do SQL++. Isso acelera a produtividade do desenvolvedor, eliminando a necessidade de ferramentas externas, código personalizado e gerenciamento de modelos. As Funções de IA do Capella incluem sumarização, classificação, análise de sentimento e mascaramento de dados. 

Por meio de sua plataforma unificada de dados para desenvolvedores, o Couchbase capacita os clientes a entregarem seus aplicativos mais críticos neste novo cenário impulsionado por IA, oferecendo um suprimento de dados persistente e com estado para interações de IA, funcionalidade de aplicativos de agentes e o desenvolvimento contínuo e a manutenção desses sistemas.

Por que precisamos de serviços de IA?

O desenvolvimento e a operação de aplicações agênticas trarão muitos novos desafios centrados em dados. Estes incluem:

Trabalhar com IA Gen muda fundamentalmente os fluxos de trabalho cotidianos dos desenvolvedores

Enquanto o conceito de Agentes é direto – a criação de programas baseados em tarefas que descobrem as coisas de forma independente, como fazer reservas em seu nome – o desenvolvimento de Agentes requer novas técnicas além do RAG para garantir um comportamento confiável e fidedigno. Isso envolve manter um comportamento consistente em cada Agente e em cada troca de LLM para invocações contínuas de Agentes ao longo do tempo. Em vez de simplesmente projetar aplicativos impulsionados por banco de dados, os desenvolvedores precisarão incorporar interações agênticas entre bancos de dados e a funcionalidade do aplicativo. Nossos novos Serviços de IA ajudarão os desenvolvedores a aproveitar esses novos fluxos de trabalho e a se tornarem proficientes no uso de LLMs em seu desenvolvimento.

Todos devem aprender novas tecnologias e técnicas operacionais

A criação de funcionalidades impulsionadas por IA introduz novos fluxos de trabalho de desenvolvimento, integrações e processos no ciclo de vida de desenvolvimento de software atual. As interações de IA se tornarão programáticas, e novos tipos de dados, como vetores, serão tanto gerados quanto consumidos durante essas trocas. Os novos serviços de IA introduzidos no Couchbase Capella ajudarão desenvolvedores e arquitetos a lidar com esses novos processos, incluindo a automatização RAG (Geração Aumentada por Recuperação), construção de prompts, barreiras de proteção para prompts e respostas, rastreamento de respostas, observabilidade de agentes e validação para a precisão de LLMs. Os serviços de IA do Capella ajudarão o DevOps a garantir que os agentes estejam fazendo o que esperamos e não criando surpresas.

Oferecendo dados proprietários para modelos privados

De acordo com nossas conversas com clientes, a coisa mais assustadora sobre a IA gerencial é compartilhar dados que não deveriam ser compartilhados publicamente. Mas, em muitos casos, dados proprietários da empresa são necessários para garantir que o conhecimento do LLM seja o mais preciso e contextual possível. Isso pode exigir o ensino do modelo com dados comerciais proprietários e sensíveis que não podem ser divulgados publicamente. Para atender a esse requisito, os LLMs devem ser privatizados ou hospedados de forma privada e não expostos ao público. Para atender a essa necessidade, a Capella hospedará modelos de linguagem de forma privada em nome dos clientes.

Conversas intensas com LLMs

Busca Vetorial e assistentes de chatbot são apenas as aplicações iniciais da GenAI. Eles representam interações únicas com um modelo de linguagem. O que veremos no futuro próximo é a evolução do RAG para abranger uma explosão de múltiplas trocas com LLMs, semelhante a uma multidão de conversas de vai e vem. Também veremos Agentes trabalhando em conjunto como um grupo, conversando com múltiplos modelos em múltiplas conversas contínuas para concluir tarefas maiores e mais complexas. Quando aprendemos pela primeira vez sobre o RAG, ele foi apresentado como um fluxo de trabalho de caminho único com muitas etapas. Na realidade, os fluxos de trabalho de agentes serão recursivos e muito mais complexos.

Reduzindo a latência para melhorar as experiências dos usuários

A latência é a inimiga da IA. Ela é especialmente intolerável quando pessoas reais estão envolvidas. Como mencionamos anteriormente, esperamos reduzir a latência hospedando modelos junto com seu suprimento de dados. Semelhante à Netflix, acreditamos que o conteúdo deve ser processado perto de onde é consumido — em dispositivos móveis para os usuários. Uma grande vantagem do Capella é que ele oferece um armazenamento de dados local, o Couchbase Lite, para processar trocas de LLM diretamente nos dispositivos. Isso ajudará a manter os usuários satisfeitos, pois eles não precisarão esperar exclusivamente por LLMs hospedados na nuvem para responder.

Pré-processamento de dados não estruturados antes da vetorização

A incorporação de dados estruturados e não estruturados dentro do processo de RAG é essencial. Dados não estruturados, como arquivos PDF, não estão prontos imediatamente para consumo por um LLM. Esses dados devem ser analisados, divididos em pedaços lógicos e transformados em texto simples ou JSON antes de poderem ser alimentados em um modelo de incorporação (embedding) ou na base de conhecimento de um LLM. Isso é frequentemente chamado de “Pré-processamento e Divisão em Pedaços” (Chunking), ou preparação de dados não estruturados para inclusão nos processos de RAG de um Agente. O Capella oferecerá um serviço de dados não estruturados para preparar objetos como PDFs para serem usados como fontes de incorporações vetoriais e sua indexação. Durante esse processo, extraímos metadados importantes, dividimos e vetorizamos os dados com base em seu conteúdo semântico e geramos incorporações vetoriais de alta qualidade para insights de IA.

Vetorização: criação e transmissão de vetores em tempo real

Uma vez processados, esses dados não estruturados, somados aos dados operacionais regulares e semiestruturados, podem ser inseridos em um modelo de incorporação para criar índices vetoriais (vetores) que servem como diretrizes contextuais dentro de um prompt para um LLM. O processo de criação de vetores como um serviço em fluxo (streamed service) permite a definição de contexto e a criação de vetores em tempo real à medida que o agente é executado. A quantidade de dimensões e incorporações vetoriais pode ser imensa, atingindo potencialmente a casa dos bilhões. Esse volume representará desafios para as plataformas de dados existentes que não estão preparadas ou projetadas adequadamente para lidar com tal escala.  

A especialização impulsionará a necessidade de muitos modelos e muitos agentes

Os desenvolvedores precisarão rastrear os programas que interagem com modelos de IA, porque os modelos evoluirão com o tempo. Para manter seus conhecimentos atualizados, os modelos de linguagem precisarão se tornar menores para que possam encurtar seus ciclos de aprendizado. Conforme os modelos se especializam, eles também se tornarão mais focados em tópicos ou contextos específicos, como um modelo que prevê padrões meteorológicos, avalia resultados de exames médicos ou compreende leis específicas da física. Da mesma forma, os agentes também se tornarão especializados em sua funcionalidade. Isso criará a necessidade de um índice de catálogo que mantenha diferentes agentes e suas interações com modelos especializados.  

Mantendo contexto persistente ao longo do tempo

Agentes de longa execução precisarão de persistência de dados para garantir que os resultados ou saídas do agente permaneçam consistentes e conforme o esperado ao longo do tempo. Isso é desafiador porque os grandes modelos de linguagem não mantêm o contexto de uma conversa para a outra. Eles precisam ser recontextualizados de uma sessão para a outra, o que exige que as conversas sejam preservadas.

O conhecimento de LLMs muda ao longo do tempo, e os agentes precisam de barreiras de proteção

O que complica ainda mais o problema da preservação de dados é o fato de que o conhecimento em um LLM é dinâmico e está em crescimento, o que significa que o modelo pode não fornecer a mesma resposta a um comando de um momento para o outro. Portanto, os desenvolvedores devem incorporar rotinas de verificação de confiabilidade para verificar os resultados esperados e a consistência das trocas do LLM ao longo do tempo. Isso significa que a conversa de ontem com o LLM deve ser preservada e persistida para que possa ser usada como dado de validação para a interação de hoje com o LLM. O que isso significa é que as interações do Agente com os LLMs — juntamente com suas entradas, saídas de resposta e metadados contextuais — devem ser preservadas para cada conversas para validação adicional de precisão. Isso gerará uma grande quantidade de dados que precisam ser armazenados em um Banco de dados pronto para IA como o Couchbase. 

A construção de um agente envolve a seleção de um LLM para raciocínio e chamada de funções, o gerenciamento de ferramentas e dados, a manutenção de prompts, a otimização com cache e a iteração para garantir qualidade. O Catálogo de Agentes do Couchbase integra-se perfeitamente à Capella Developer Platform para otimizar esse processo, reduzindo a carga cognitiva dos desenvolvedores. Nosso catálogo de multiagentes ajuda os desenvolvedores a gerenciar ferramentas, conjuntos de dados, modelos, verdades fundamentais (ground truth) e prompts entre agentes. Ele oferece suporte à seleção semântica de ferramentas para consultas, fornece ferramentas pré-construídas e disponibiliza a melhor infraestrutura de atendimento de modelos da categoria para hospedar LLMs. Recursos adicionais incluem aplicação de diretrizes de segurança, detecção de alucinações, auditoria de linhagem de consultas, previsão e integração de RAG-as-a-Service (RAGaaS) para avaliação da qualidade dos agentes.

Minimizando os custos das conversas com LLM 

As conversas com LLMs serão caras e lentas. Os agentes participarão de uma infinidade de conversas com LLMs, o que torna isso um desafio significativo. É por isso que cada CSP está entusiasmado com os modelos que suporta (Bedrock/Claude, Gemini, ChatGPT) como futuros geradores de receita. Com o desempenho dos Agentes, milissegundos custam dinheiro. O Couchbase aproveitará várias vantagens de desempenho já embutidas no Capella para tornar as interações com LLMs mais rápidas e econômicas. Isso inclui a capacidade de fazer cache de consultas comuns para prompts, minimizando acessos redundantes a um LLM, e oferecendo cache semântico e conversacional de resultados de LLM para respostas comuns. O Capella também fornece recursos de otimização de desempenho, como dimensionamento multidimensional e replicação entre data centers. Esperamos que o Capella ofereça uma vantagem atraente de preço/desempenho aos clientes.

Mergulhando ainda mais nos desafios e oportunidades, Stephen O’Grady, analista principal da RedMonk, disse: “À medida que a IA continua a transformar as empresas, ela está apresentando novos desafios significativos para a infraestrutura. Para aplicar a IA aos seus negócios existentes, as empresas têm sido obrigadas a integrar fontes de dados grandes e díspares e uma variedade de modelos de IA em rápida evolução, usando fluxos de trabalho complicados. Isso criou demanda para uma plataforma de dados alternativa e multimodal, com acesso não apenas aos dados de treinamento necessários, mas aos modelos para aplicá-los. Esta é a oportunidade para a qual os novos Serviços de IA do Couchbase Capella foram criados.”

Conclusão: Bem-vindo ao nosso mundo de IA!

O Couchbase está expandindo sua plataforma de dados para desenvolvedores para incluir uma variedade de serviços de IA para apoiar tanto a criação quanto a operação de aplicações agênticas. Esses serviços atendem a várias necessidades urgentes de persistência e organização de dados quando os agentes estão em execução, e simplificam muitas das dores de cabeça iniciais que os desenvolvedores enfrentam ao criá-los. Esses serviços serão oferecidos a clientes e clientes em potencial qualificados como uma visualização privada. Estamos extremamente entusiasmados com o que estamos apresentando para apoiar aplicações críticas neste novo mundo de IA. Venha participar dessa jornada!

Para mais informações

• Leia o Comunicado de Imprensa
• Confira Serviços de IA Capella ou cadastre-se no Visualização Privada
• Blog: O que é RAG?
• Blog: O que é um agente de IA?
• Inscreva-se para o webcast: Um Roteiro para a Nova Era dos Agentes de IA – Desafios e Oportunidades