Anunciando o Vector Search e muito mais!

Couchbase anuncia o Vector Search

O Couchbase anuncia a pesquisa vetorial em toda a sua linha de produtos, incluindo Capella, Enterprise Server e Mobile, para permitir a criação de aplicativos adaptáveis baseados em IA que são executados em qualquer lugar. Feliz Dia do Salto! E parabéns a toda a equipe do Couchbase por fornecer esses produtos incríveis.

Sim, o Couchbase adiciona a pesquisa vetorial a todos os seus produtos e oferece suporte a técnicas de geração aumentada de recuperação (RAG) por meio de grandes modelos de linguagem (LLMs) via LangChain e LlamaIndex interfaces. Isso permite a criação de aplicativos hiperpersonalizados e contextualizados em tempo real. Seus aplicativos poderão se adaptar imediatamente às condições e situações em tempo real, até mesmo em seus aplicativos móveis. Chamamos isso de aplicativos adaptáveis.

TLDR: Como adicionar a pesquisa vetorial a aplicativos de borda, nuvem e servidor

• • O Couchbase adiciona a pesquisa vetorial ao nosso sistema nativo serviço de pesquisa em linguagem natural no Couchbase Enterprise Edition Server 7.6, Capella, nosso banco de dados totalmente gerenciado, e Couchbase Lite, nosso banco de dados móvel incorporável. Estamos levando a pesquisa vetorial para a borda e para os dispositivos, e isso é muito empolgante.
  • O Couchbase anuncia o suporte ao LangChain e ao LlamaIndex em nossos SDKs específicos de idioma para impulsionar produtividade do desenvolvedor no uso de quaisquer modelos de GenAI que escolherem em seus aplicativos. 
  • O uso de técnicas RAG com pesquisa de vetores ajuda a melhorar a precisão das respostas da GenAI, reduzindo a ansiedade em relação à alucinação dos modelos e ao fornecimento de respostas não confiáveis a um aplicativo com tecnologia de IA.
  • A pesquisa vetorial também ajuda a eliminar a ansiedade das empresas quanto ao compartilhamento excessivo de dados confidenciais ou proprietários com LLMs como dados de treinamento. 
  • Os desenvolvedores terão suporte total à pesquisa vetorial na API REST, no SDK e no SQL++. Eles podem explorar sua familiaridade de longa data com o SQL para desenvolver aplicativos GenAI de forma rápida e eficaz. 
  • Isso também atende à necessidade comum de "pesquisa híbrida", combinando similaridade e pesquisa semântica com pesquisas de intervalo, espaciais e de texto em uma única solicitação.
  • Somos o primeiro fornecedor a colocar a pesquisa vetorial em um banco de dados móvel.

Também adicionamos uma infinidade de outros novos recursos ao Capella e ao Servidor corporativo 7.6 (agora disponível para download e Teste gratuito do Capella) incluindo: 

• • Suporte a travessias de relacionamentos semelhantes a gráficos usando expressões recursivas de tabelas comuns no SQL++, de modo que agora você pode navegar em organogramas e hierarquias feitas de coleções e documentos.
  • Rebalanceamento de índice baseado em arquivo. As reconstruções de índices durante um rebalanceamento de dados não eram divertidas, por isso tornamos esse 80% mais rápido e fácil.
  • Upgrade do Couchstore para o Magma em uma única etapa, sem tempo de inatividade. Aproveite os benefícios de capacidade, velocidade e compactação do Magma.
  • Tempos de failover mais rápidos para melhorar a alta disponibilidade e reduzir os tempos mínimos de reação: 200 ms para a frequência de heartbeat e um segundo para a ativação do failover automático.
  • Criação simplificada de consultas durante o desenvolvimento, eliminando a necessidade de índices antes da execução da consulta.

Confira o vídeo de anúncio:

O que o anúncio do Vector Search significa para os clientes do Couchbase?

Foi um ano e tanto para a jornada do Couchbase na adição de suporte para Inteligência Artificial Generativa (GenAI) em nossos produtos. Como o resto do mundo, pudemos ver desde o lançamento inicial do ChatGPT que a GenAI transformaria o desenvolvimento de aplicativos. Projetamos que quase todos os aplicativos existentes e futuros serão examinados para verificar se a GenAI pode ser aplicada a determinados recursos. Chegamos até a especular que o escopo e a escala desse reexame dos aplicativos seriam semelhantes ao problema do Y2K há vinte e cinco anos (sem o prazo iminente). 

Se a pesquisa vetorial for um conceito novo para você, assista ao nosso vídeo de introdução para se familiarizar rapidamente com o assunto. Continue lendo abaixo, pois vamos nos aprofundar nos detalhes do motivo pelo qual consideramos a pesquisa vetorial um requisito essencial dos aplicativos.

Apostamos em aplicativos adaptativos com tecnologia de IA

No ano passado, falamos sobre os seguintes princípios fundamentais na criação de aplicativos com tecnologia de IA. Lara Greden, da IDC, foi quem melhor capturou esse fato.

JSON é o formato de dados para IA

Isso se baseou no entendimento de que os aplicativos alimentados por IA forneceriam experiências hiperpersonalizadas e contextuais. Pensamos que o JSON era o formato perfeito para atualizar dinamicamente os perfis de conta que impulsionam a personalização, sem exigir grandes alterações no esquema. Em novembro, a OpenAI declarou que suportava Modo JSON como um formato de dados.  

Também foi conveniente para nós o fato de sermos um banco de dados JSON distribuído e de alto desempenho, cujos clientes gerenciam seus perfis de conta dinâmicos em nosso sistema.

Também argumentamos que o JSON seria um ótimo formato para persistir e fornecer variáveis de dados imediatas que seriam montadas programaticamente para interações com a IA. Começamos introduzindo o Capella iQnosso assistente de codificação habilitado para GenAI para ajudar os desenvolvedores a criar aplicativos com base no Couchbase.

Nosso desafio: Enfrentar os receios da GenAI na empresa

Quando começamos a conversar com analistas, clientes potenciais e clientes sobre seus receios em relação à GenAI, duas preocupações (apropriadamente ilustrado pela Deloitte) nos chamou a atenção imediatamente:

Compartilhamento excessivo de dados com modelos de linguagem

A primeira era a preocupação de ter problemas por oferecer dados confidenciais ou proprietários a um modelo que, em seguida, se treina com esse conhecimento. Inúmeros clientes estão preocupados em perder sua vantagem competitiva se um LLM aprender e se lembrar de seus dados secretos. Caracterizamos isso como "compartilhamento excessivo de seus dados com a GenAI". Isso é preocupante. Isso também pode ter implicações legais. A pesquisa vetorial ajuda a resolver esse problema. 

Os modelos de IA podem estar errados ou malucos

O segundo medo era a preocupação de que a GenAI tivesse alucinações e retornasse informações imprecisas ou falsas. Os bancos de dados preferem que os dados sejam válidos, verdadeiros, precisos, confiáveis, transacionais, etc. Os bancos de dados têm um senso de certo ou errado que não pode ser evitado: até o centavo ou até o bit. Essa constatação abriu uma caixa de Pandora de possíveis problemas, incluindo:

• • Você confia nos dados que fornece à GenAI?
  • E se você criar prompts do GenAI que usem várias fontes de dados para diferentes variáveis no prompt? Você confia nisso? 
  • E se o modelo de linguagem tiver alucinações e você não conseguir descobrir qual variável de prompt criou a confusão?  
  • E se você pretendesse usar seu data warehouse, seus sistemas operacionais, seus feeds em tempo real, catálogos de metadados, etc., como sistemas de alimentação para prompts e modelos de IA?

A IA odeia a complexidade dos dados

Percebemos que considerar os usos apropriados da GenAI também forçaria um reexame da complexidade de sua arquitetura geral de dados. Se você seguiu os princípios de design de dados da última década, sabe que tem muitos bancos de dados, movimentação de dados e APIs para examinar.

O uso de qualquer combinação de bancos de dados criados para fins específicos se tornará uma prática obsoleta porque os riscos de alimentar modelos de IA com dados inconsistentes ou incorretos serão muito altos. A consolidação dos padrões de acesso aos dados é inevitável. É por isso que o uso de um banco de dados banco de dados de vetores é míope.

É por isso que declaramos que a IA odeia a complexidade.

A complexidade da arquitetura de dados deve ser eliminada

Ainda bem que o Couchbase é um banco de dados multiuso excepcional que pode ajudá-lo a limpar sua arquitetura, acelerar seus aplicativos e fornecer um caminho para adicionar IA a eles. Mesmo quando seus aplicativos são móveis!

A partir desta versão, o Couchbase oferece suporte aos seguintes padrões de acesso a dados: chave/valor, JSON, SQL, pesquisa (texto, geo, vetor), séries temporais, gráficos, análises e streaming de eventos, tudo na mesma plataforma distribuída. Cada serviço de acesso é dimensionável de forma independente, de modo que você pode ajustar o desempenho do seu aplicativo para otimizar o uso dos recursos de infraestrutura e reduzir os custos. Você também pode implantar o sistema como um serviço totalmente gerenciado (Couchbase Capella), nuvem autogerenciada, no local, na borda e no dispositivo.

A complexidade mudará para quais e quantos modelos de IA devem ser usados

A complexidade passará da camada de dados para a camada do modelo de IA à medida que observarmos uma futura explosão de modelos especializados. Isso já está acontecendo. Amanhã, haverá milhares de modelos de IA criados para fins específicos disponíveis, e começaremos a usá-los em combinação, como fazíamos com os bancos de dados em nossa arquitetura de dados.

Os aplicativos adaptativos com tecnologia de IA precisarão de análises em tempo real

No outono, anunciamos Capella columnar para agregações em tempo real e em grande escala. Os resultados podem ser inseridos em seu aplicativo e até mesmo usar esses dados para avisos de IA. Resolvemos um problema antigo de reinserir um insight analítico no aplicativo sem intervenção humana. Isso será importante quando você estiver criando seu aplicativo alimentado por IA, pois você vai querer um contexto em tempo real como, por exemplo, "Qual é a quantidade de estoque existente no momento?"

Os aplicativos adaptáveis serão móveis

Portanto, se você for criar um aplicativo com tecnologia GenAI, deverá oferecê-lo onde seus usuários estiverem procurando. Em seus dispositivos móveis. Todos os recursos, inclusive a pesquisa vetorial, podem ser armazenados e acessados localmente nos dispositivos. É onde os usuários vivem, onde ocorrem as interações tecnológicas e onde se origina o contexto em tempo real. Incluindo contexto como localização, hora do dia, clima, notícias, proximidade de amigos etc. Os vetores serão armazenados, protegidos e sincronizados com os dispositivos para que você possa usar a similaridade e a pesquisa híbrida na borda. 

Até onde sabemos, a pesquisa vetorial em um dispositivo móvel incorporável é o primeiro recurso do gênero. Os benefícios aqui serão enormes: conversas diretas com LLMs a partir do dispositivo sem falar com o servidor principal, melhor privacidade, menor latência, disponibilidade off-line e usuários mais satisfeitos. Tudo isso será necessário em seu futuro Aplicativo adaptativo com tecnologia de IA.

Os clientes que quiserem experimentar o beta da pesquisa vetorial no Couchbase Lite pode se inscrever aqui.  

Sua arquitetura de dados deve ser rápida, disponível e estar em todos os lugares

Quando você pensa em criar seu primeiro aplicativo adaptável, deve se lembrar de que as regras antigas dos aplicativos ainda se aplicam. Eles devem ser rápidos, executados em qualquer lugar, confiáveis, dimensionáveis e estar disponíveis quando o usuário quiser. Não há como comprometer seus requisitos básicos. 

Resumo

O Couchbase anuncia a pesquisa vetorial e abre uma nova era no desenvolvimento de aplicativos. Hoje anunciamos que oferecemos suporte à pesquisa vetorial em toda a nossa linha de produtos, incluindo suporte a pesquisa de similaridade de vetores em dispositivos móveis. Mas é muito mais do que isso. Atualizamos o Couchbase Server para a versão 7.6, que oferece suporte a travessias de relações de gráficos, atualização automática do Couchstore para o Magma, reequilíbrios de índice mais rápidos, execução de consultas mais fácil e failover mais rápido em ambientes HA.

O Couchbase está pronto para ajudá-lo a criar seus aplicativos adaptáveis. Você está pronto para começar? 

Aproveite os seguintes recursos 

• • Comunicado de imprensa da Vector Search
  • Baixar o Couchbase Server 7.6
  • Registro de teste gratuito da Capella
  • O que há de novo no Capella and Server 7.6 ou assista Novo vídeo de lançamento
  • Leia as notas de versão, quando disponíveis
  • Saiba mais sobre Pesquisa vetorial do Couchbase
  • Registre-se: Couchbase Mobile Vector Search Beta
  • Mais informações sobre Pesquisa de vetores, Embeddings vetoriaise RAG
  • Assista a nossos novos vídeos em Pesquisa de vetores e Vetor do Couchbase Lite beta
  • Registre-se para: Webcast do Couchbase sobre serviços de IA